多邻国有一个单词配对游戏,非常考验玩家的反应速度,简单的单词我还能顺利通关,但是难一点的直接歇菜。以前用python脚本实现过自动玩游戏,所以现在用python实现一个自动单词配对工具,用机器打败机器!
简介
上图是多邻国单词配对游戏,需要在2分钟内准确点击所有的单词组才能顺利通关。
根据游戏难度不同,单词数量在60-100个不等。
为了完成自动配对单词的任务,我设计了这个工具。
将流程拆借,就是以下几步:
首先将手机投屏到电脑
获取屏幕截图
将截图二值化,获取单词和中文的框框
对框框中的中英文进行OCR识别
使用联网或本地翻译对单词进行匹配
调用pygame点击对应的框框
其中1-3步比较简单,主要第5和第6步,有两种方案:
方案1:用pytesseract识别OCR,用googletrans联网翻译
方案2:用paddalOCR识别,用大模型匹配单词相似度
项目已开源,代码仓库:
https://github.com/theisness/DuolingoAutoMatching
方案1
2025.1.6实现了方案1,效果不佳,做单词还不如我快。首先是OCR,英文还可以,但是很多中文识别不出来。
其次google联网翻译反应慢,会导致没法及时完成配对。
方案2
待做。。。。。。
基于PADDALOCR+Sentence Transformers 和 Hugging Face Transformers