把知识库堆到 50 万份后,1994 年的老算法赢了所有新方案,一篇新论文文,把 RAG 圈最火的几个检索方案都打了脸
做AI的都必定经历做问答,做问答必定会搞过RAG,只要你是搞 RAG 的,手机里应该少不了一篇讲 GraphRAG 或者 Agentic RAG 的文章。讲真关于RAG,这类文章真的刷屏了。
大家好像默认了一件事,检索这东西越复杂越高级,效果就越好。词法检索太土了,稠密向量才够味,再往上得整知识图谱,最后干脆让 AI 自己当侦探,满库乱翻找答案。这是当下几乎所有人的共识,后面会被打脸。
我之前也基本被带进去,复杂检索跑语义,简单靠关键词规则。但是!!!
事情是这样的。做 AI 应用的朋友经常吐槽,说他那个 RAG 系统,demo 阶段贼漂亮,十几个文档里找答案准得离谱。结果一上线,公司知识库往里一灌,五十多万份文档,好家伙,直接拉了。
那第一反应是,我检索不够高级。于是上 GraphRAG,上多智能体,上 agentic search,越堆越复杂。然后呢,更拉了。
看到这不少朋友要点头。这事儿太常见了,我甚至觉得这不是某个人的问题,是整个行业的惯性。
直到我前两天看到一篇刚挂上 arXiv 的论文,给我一下子整不会了。
这篇论文叫 BM25 Wins at Scale,一帮中科大和 Metastone 的人搞的。名字翻译过来就挺嚣张,叫「BM25 在规模上赢了」。
你没看错,就是那个 BM25。
1994 年那帮人鼓捣出来的,靠关键词匹配的老古董检索算法。在现在这个人人谈向量、谈图谱、谈智能体的年代,它就像个骑自行车去参加 F1 赛车的老大爷。
结果这篇论文直接告诉你,在规模面前,这个老大爷把所有人都超了。
我当时就愣住了。。。
他们干了一件特别干净的事儿。
他们用了个企业级基准,叫 EnterpriseRAG-Bench,里面塞了五十多万份文档,五百道题,还故意埋了一堆干扰陷阱文档,就为了看检索会不会被带偏。
重点在这。他们没有像别人那样,在小库上比一下就完了。他们把知识库做成了 28 级的俄罗斯套娃。
最小的第 1 层,只有 1144 份文档。然后每一级往上,文档量乘以 1.25。一路乘上去,最大的第 28 层,扩到了 51 万份。
中间差了多少倍呢。大概 450 倍。
更骚的是,他们把所有题目、标准答案、还有那些干扰陷阱,从第 1 层开始就固定死,一丁点不动。后面每一级,只是往里加背景文档。
这等于把「知识库变大」这一个变量单独拎出来,其他全按住不动。最后看到的曲线,纯粹就是规模在起作用。
然后他们统一用一个阅读模型 Qwen3.6-27B,统一评分标准,还分别去数建库花了多少 token、每次提问花了多少 token。
一句话,同一套题,知识库从小放大 450 倍,看各门派谁笑到最后。
结果很反直觉,来了个「交叉反转…