伯克利开源 PixelRAG:不把文档解析成文字,而是渲染成截图直接搜
(图源:项目仓库。标语是「Web Screenshots Beat Text」,副标写着「在几百万张渲染好的页面上做视觉检索」)
给 AI 喂资料的标准流程里,有一步几乎没人质疑过:先把文档解析成纯文字。网页扒成文本、PDF 抽成字符串,然后切块、做向量、进库。
问题是这一步会丢东西。一张财报里的表格,解析完可能变成一串对不上行列的数字;一张流程图、一份排版讲究的说明书,抽完文字之后结构就散了。后面检索得再准,丢掉的信息也回不来。
PixelRAG 换了个做法:不解析成文字,把文档渲染成截图,直接对图片做检索。它来自伯克利(Berkeley SkyLab、BAIR 和 Berkeley NLP),指导老师里有 Matei Zaharia(Spark 作者、Databricks 联合创始人)、Joseph E. Gonzalez 和 Sewon Min,Apache 2.0 开源,目前 6.9k 星。仓库简介口气很大:
The end of web parsing. The beginning of scalable pixel-native search.(网页解析的终结,可规模化的像素原生检索的开始)
一个具体的例子
作者用一个问题把差别摆了出来:2010 年欧冠决赛,国际米兰对拜仁,国米射正了几次?
(图源:项目仓库。上半是文字 RAG:维基页面被解析成文字块,那张统计表在这一步丢了,检索回来的片段里没有数据,模型只能回答「无法从给定上下文中确定」;下半是 PixelRAG:同一个页面渲染成截图,表格原样留着,检索回带表格的那张图,模型从图上直接读出「Shots on target · Inter Milan · 7」)
答案就写在页面那张统计表里,人打开原页面能直接找到。文字管线把表格结构碾平之后,这个数字就取不出来了。这类问题在真实资料里很常见——财报、说明书、论文里的图表、后台截图,信息本来就长在版面上。
它是如何工作的
整条链路里没有「解析成文字」这一环:
建索引:文档(网页或 PDF)先用 pixelshot 命令渲…