在线文档解析服务横评:TextIn、MinerU、MonkeyOCR 谁最适合企业知识库?
在线文档解析服务横评:TextIn、MinerU、MonkeyOCR 谁最适合企业知识库?
文档解析服务是知识库数据集的源头,它直接决定了问答的准确性。特别是在海量文档规模场景下,文档解析服务质量直接决定了知识库产品的交付成本。
在知识库交付的过程中,经常会出现这样的问题:表格错位、公式展示不出来、标题识别错乱,没有层级关系、图文结构信息丢失等。这些问题会导致后续的分块、检索召回动作都是基于一个错误的数据源基础上错上加错,结果可想而知。
对于 KnowFlow 而言,我们想找到一种相对最优的解析服务,尽可能的提升数据源质量,降低数据治理成本。
测试标准
经过我们社区同学日常沟通交流,我选择了 MinerU、TextIn、MonkeyOCR 这三款产品进行横向比较。
PaddleOCR 体验网站上 OCR 结果无法生成 Markdown 文件,所以不在此次测试范围之内;另外 Dolphin 在线体验地址,只能上传文件,无法预览 Markdown
由于本地部署比较耗时,我们统一采用在线官方体验地址进行比较,离线/开源版本不在本次测评范围之内。
模型优先采用 VLM 模型,确保更好的识别效果。测试结果优先以 Markdown 文件 产物作为标准,因为对于知识库而言 Markdown 非常友好。
这里有一点需要注意,文档转换成 Markdown 必然会损失一些信息,因为 Markdown 是一种轻量级标记语言,专注于文本内容,不能表达复杂的排版和样式。
由于评测文档样例有限,本次测评仅面向于样例文档解析服务的表现,且以官方服务默认参数为前提,并不代表服务厂商其他文档表现。
测试方案
考虑到文档格式多样性,本次以 PDF 、Word 这两种最常用的文档格式为主。
文档结构层面,重点关注表格、图文混排、分页、目录识别、复杂版式,测试指标以 Makrdown 文档还原度为核心指标,
测试数据集
围绕上述测试标准和方案,精心挑选了以下文档:
1. 某知名品牌电风扇使用说明书 (pdf)
该文档使用说明书图文混排复杂,重点关注文档结构还原、图片提取能力。
2. 邮件模版 EMAIL(doc)
文档含表格内嵌表格,文本中包含删除线等特殊格式。重点关注 word 文档表格还原能力。
3. 跨页表格(pdf)
全英文文档,关注目录级别识别效果,以及文中存在的跨页表格识别效果
4 煤矿安全规程2022版(pdf)
图文混排,表格加文字和公式,重点关注表格呢的公式符号还原程度。
测试网址
• MinerU:https://mineru.net/OpenSourceTools/Extractor • TextIn:https://cc.co/16YSVg • MonkeyOCR:http://vlrlabmonkey.xyz:7685/