做RAG知识库开发这几年,我发现一个特别搞笑的现状。
绝大多数人优化检索的路子,主打一个舍近求远、大力出奇迹。
检索不准、答非所问、瞎召回?第一反应绝对是:换更大的向量模型、调相似度阈值、改文档分片、上重排序模型、微调Embedding……
各种高大上的高阶操作试了个遍,代码改得满天飞,服务器算力干到爆满,最后效果依旧一言难尽。
其实根本不用这么折腾。
我踩了无数坑后悟透一个真理:大部分RAG检索翻车,跟向量模型没关系,纯粹是你开头的关键词提取烂到家了。
用户随口唠的大白话、一堆废话、奇葩简称、混乱语序,你不加处理直接扔去检索,再好的向量模型来了也得懵逼。
今天不讲晦涩理论,不堆专业术语,用程序员唠嗑的方式,聊聊这个低成本、高收益、被所有人忽略的检索最优解——把用户提问的关键词提纯做干净。
一、为什么你的检索总“抽风”?源头就是 Query 太脏
先说说最真实的线上现状,千万别高估普通用户的提问能力。
我们做技术的写测试提问,都是规规矩矩的结构化句式:“高处作业的安全防护规范有哪些?”
干净、精准、核心词拉满,检索百分百命中。
但真实用户哪会这么听话?他们的提问主打一个随心所欲、自带冗余、语义乱飞。
我随便举几个后台真实捕获的用户提问,大家感受一下:
-
“请问一下啊,夏天在工地上面爬高干活,要注意啥东西呀?”
-
“新手第一次开塔吊,有没有啥容易出错的地方,麻烦说下”
-
“就是那个电线漏电了,平时要怎么保护才安全?”
如果你是傻瓜式开发:用户输什么,我就直接分词检索什么,那结果必然是灾难级的。
系统会傻傻把“请问一下”“夏天”“新手”“麻烦说下”这些鸡毛蒜皮的废话,全都当成有效语义去匹配。
最后的结果就是:核心语义被废话稀释,正经文档排垫底,无关垃圾内容疯狂置顶。
这就好比你去食堂打饭,明明只想吃米饭,结果往碗里狂塞一堆石子杂草,最后抱怨米饭不好吃——问题根本不在米饭,在你过滤不干净。
很多RAG项目检索拉垮,本质就是:带着一堆噪音检索,神仙模型也救不回来。
二、最大的坑:分词 ≠ 关键词提取
很多新手最大的误区,就是把分词当成关键词提取。
这里直白唠一句大实话:开源分词工具,只能帮你把句子拆碎,根本不会帮你筛选重点。
分词是机械干活,无脑拆分所有词汇,不管有用没用;
而检索需要的关键词提取,是带脑子的语义提纯,核心就一件事:删废话、留干货、统一黑话、锁定意图。
我总结了线上用户提问的四大“检索毒药”,也是必须全部干掉的内容:
- 礼貌废话型
请问、麻烦、谢谢、能不能、有没有、我想知道
这类词纯纯凑…