RAGular:适合知识库体质的 OCR 助手
缘起
我一直在找更便利、更准确的 OCR 方法。2025 年 2 月 DeepSeek 爆火,对本地部署一窍不通的我,在淘宝 API 贩子的指导下,开始用起了 Cherry Studio,也因为学英语的需要开始了对知识库的一系列探索。
我比较习惯读电子书,所以把所有纸质书都扫描成了电子版,放到了 Cherry Studio 的知识库里。知识库是有价值的,模型回答问题时如果有知识库的加持,回答会更好更准确。
Cherry Studio 是一个不错的软件,虽然它每次更新都会出一些 bug,它的 UI 常常劝退我,不过它的功能设计比较贴心,它的知识库已经是市面上比较好用的了。我曾经有几次想要逃离 Cherry Studio, 也尝试过 AnythingLLM、LobeChat、Msty 等平台,但因为功能不合适等种种原因,最终还是留在了 Cherry Studio 里。
既然我没能“逃走”,我就还是得面对在 Cherry Studio 里优化知识库的问题。
在使用和调试过程中,我觉得影响知识库质量的因素有三个:
1、嵌入和重排模型的能力
2、制作知识库时,嵌入/重排模型具体参数的设定
3、知识库文件的质量
其中第一个因素取决于大模型的进化。这方面只能靠模型厂商们的努力了,我什么都做不了。在 2025 年底,我把嵌入和重排模型从硅基流动换成了千问,效果是肉眼可见的提升。
第二个因素也比较重要。比如不同类型的知识库文件,需要切成大小不同的 chunk,重叠部分也有一些说道。不过,这个因素对于知识库不会有根本性的影响,所以即使参数设置不够好,也不会让我太焦虑。
第三个因素非常重要。知识库文件内容的准确性、可被识别性都会直接影响到模型答案。而且前两个因素多少还和模型能力有关,但知识库文件可赖不着模型了,因为文件都是我自己做的。如果因为文件做得不好,影响了知识库的质量,那就只能怪我不努力了。那我就会非常焦虑!
如果一件事情做到最后发现,因为自己做的不好,影响了结果,那可太难受了。
我不能难受。所以我开始琢磨怎么做文件。
幼年期 1:未掌握 Python 的胡乱探索阶段
对于 PDF 扫描书而言,知识库文件质量的奥义,在于把 PDF 内容变成准确的文本。文件格式我选择了 markdown(下称“md”)。
这个阶段我用了很多很笨拙的方法去处理 PDF,因为是大概一年前的事了,我只记得过程挺苦的。整个过程笨笨咔咔的,出了很多力,但效果又不好。
我在 PDF 文件、PNG 图片、Word、宏、WPS、正则表达式里折腾了一圈,最终选择了这条路径:把裁切干净的 PDF 先转成 Word 文档,然后用 MinerU 把 Word 文档转成 md 文件。虽然结果还是会有不少错字,但是整体上还过得去。
这期间的探索也有很多收获:
1、WPS 适合处理 PDF 的“噪声”:页码、logo、和正文无关的样式文字都是噪声,可以用裁剪页面、分割页面和擦除功能进行处理。
2、Typora 是很好用的 md 阅读软件,但读不了太大的文件,Obsidian 能读取。
3、MinerU 这个软件的识别能力是不错的。
在这个阶段,AI 能力也有限,给不出关于知识库的更好建议,有时候还会瞎说。
幼年期 2:学习“老马”,尝试 ABBYY
马健老师是电子书处理方面非常有名的一位老师,网名是“老马”。他开发了一套配有详细教程的 PDF 处理软件。这套教程我收藏了好久,我觉得这一定是一套处理 PDF 的神器。但看着教程里那么多文档,拖延把我当时发作,我决定要等到不得不处理 PDF 时再学习老马的软件。
然而,不得不处理的时候很快就来了。
二月的某个普通的学习日,我问 AI:这是功夫熊猫 4 的对白,in the know 和 not without 都是什么意思,用法是什么?
AI 引用的知识库切片里,有一条关于“not without”的解释来自陈用仪的《英语常用词疑难用法手册》。这个词条有两个释义,都表示肯定,只不过肯定的程度不同。
第 1 条释义的肯定程度:相当大;
第 2 条释义的肯定程度:有一点但不多。
动画片这句话用的是第 1 条释义,但是知识库切片只找到第 2 条释义,而且第 1 条释义压根儿就没有出现。这就很离谱了。我把切片找出来,第 1 条释义确实只出现了一个尾巴。这个词条被错误地切分成了两段。
这是我用了大半年以来第一次发现引用有问题。我这次之所以能够发现错误,是因为我前不久在这本书里读过 not without 这个词条,我知道它说错了。
当你看到一只蟑螂时,屋子里至少已经有蟑螂扎窝了。这也意味着,知识库文件已经很不好了,以前可能有很多回答引用得都不对,只不过我没在原书里读过,不知道它错了。
我决心要面对这个问题,改掉这个错误,用更好的 OCR 方式做知识库文件。
于是我硬着头皮打开了老马的教程。在 Claude 和 GPT 的陪读下,我学了一部分老马教程,又很快关闭了。
这次学习让我有了两个收获:
1、老马教程适合处理 PDF 的清晰度,不太适合处理我当前的 OCR 问题。
2、让文档变清晰的这个功能,老马教程我没学下去,WPS 的傻瓜操作更适合我。
我开始尝试用业内最有名的 OCR 识别软件 ABBYY 去做,摸索出来最适合 ABBYY 的一条路:首先用 WPS 把 PDF 变成图片式 PDF,然后用 ABBYY 的增强识别变成 html 格式。不过还是有些问题,ABBYY 遇到斜体和下划线的单词就会识别错误。
但对 ABBYY 的这一轮探索也让我有了重要的收获:人眼看起来舒服的文件,未必适合软件消化。比如,和高清图片相比,WPS 生成的图片式 PDF 巨糊,但 ABBYY 消化得最好;反而 ABBYY 转出漂亮的 html,看起来超舒服,但喂给知识库的话,需要把大量的 html 格式标签清洗掉才行。
这样想想,人还真是挺金贵的生物,要不怎么说精加工的食物才好吃呢,人嘴太刁。
成长期:多模态大模型的惊喜
在我发愁时,Claude 给我出了个主意:用多模态的大模型去做 OCR。因为传统 OCR 软件是在像素级别识别字符,但多模态大模型是"看懂"内容,所以能够理解斜体、下划线这些格式,可能会解决 ABBYY 的痛点。但 GPT 强烈反对,它觉得模型识别会有幻觉。
我让 Claude Opus 试着识别了一页,效果惊人的好!一字不差!格式都对!于是我开始琢磨大模型 OCR 这条路。
Claude 写了一段给多模态模型的 Prompt,放到了一个 Python 脚本里(下称“py 脚本”)。Prompt 用来约束多模态模型,要求模型忠实转录+保留词典分隔符+忽略页码+输出 txt,py 脚本负责把 txt 结果进行拼接,按照分隔符切成 md 文件。
这样一来,每一个词条对应一个 md 文件,就不会再被 chunk 误切了。
我抽出 3 页书,挑了 4 个市面上口碑不错的多模态大模型进行测试,Sonnet 4.6 在准确性、速度方面以…