多邻国有一个单词配对游戏，非常考验玩家的反应速度，简单的单词我还能顺利通关，但是难一点的直接歇菜。以前用python脚本实现过自动玩游戏，所以现在用python实现一个自动单词配对工具，用机器打败机器！

简介

上图是多邻国单词配对游戏，需要在2分钟内准确点击所有的单词组才能顺利通关。

根据游戏难度不同，单词数量在60-100个不等。

为了完成自动配对单词的任务，我设计了这个工具。

将流程拆借，就是以下几步：

1. 首先将手机投屏到电脑

2. 获取屏幕截图

3. 将截图二值化，获取单词和中文的框框

4. 对框框中的中英文进行OCR识别

5. 使用联网或本地翻译对单词进行匹配

6. 调用pygame点击对应的框框

其中1-3步比较简单，主要第5和第6步，有两种方案：

方案1：用pytesseract识别OCR，用googletrans联网翻译

方案2：用paddalOCR识别，用大模型匹配单词相似度

项目已开源，代码仓库：

https://github.com/theisness/DuolingoAutoMatching

方案1

2025.1.6实现了方案1，效果不佳，做单词还不如我快。首先是OCR，英文还可以，但是很多中文识别不出来。

其次google联网翻译反应慢，会导致没法及时完成配对。

方案2

待做。。。。。。

基于PADDALOCR+Sentence Transformers 和 Hugging Face Transformers