不要只是搭建:RAG 不是上传文档然后问答那么简单
1
前言
最近因为一些业务需要,需要快速进入一个新领域,然后就会涉及到调研某项技术,理解一批法律文档,希望在短时间内阅读大量资料并形成判断。总结下来这类事情有一个共同特点,那就是需要参考的文档很多,而且信息之间存在层级、版本、上下文和相互印证的关系。
那具体怎么操作呢,下意识的想到现在不有 AI 吗,不是有工具吗,不就是 AI chatbox 类产品(ChatGPT、Claude、豆包、kimi 等)或直接标榜的知识库类产品(NotebookLM 等)应该能解决的问题吗?
但是具体用下来,发现都有各种问题,有些工具对上传文件数量、文件大小有限制;有些回答看起来流畅,但细看发现没有真正命中文档;有些会漏掉关键材料;有些会把不同文档里的信息混在一起;有些甚至在证据不足时仍然给出很肯定的答案。
即使某些产品升级后标榜"无限文件"、"超长上下文"、"大容量知识库",从技术经验上看,我也很难相信真的存在没有限制的系统,资源一定是有限的。
所谓无限,通常只是产品层面的表达。底层一定还会有取舍:解析策略、索引策略、召回策略、上下文压缩、排序、截断、缓存、成本控制。
也正是因为这些实际痛点,我又重新去了解了一些 RAG。
之前我大概知道 RAG 是什么:检索增强生成,把外部知识检索出来,再喂给大模型回答。但真正深入看一些教程、demo 和工程讨论后,要做好,是件特别难的事,当然,这里好的定义,就不过多辩论了。
2
大部分 RAG 教程只是教你搭起来
现在 RAG 的教程大多数都是一个共同的套路:
1pip install安装或者dify,coze等
2上传加载文档
3切chunk
4生成embedding
5写入向量库
6top-k检索
7拼prompt
8调用大模型
9回答出来了
10完事
11这个流程当然有价值,至少能让人知道 RAG 的基本链路。但问题是,很多文章就停在这里了,真正再深入的文章鲜有人讲。
文档怎么切;chunk 大小为什么这样设;embedding 模型怎么选;只用向量检索够不够,BM25 和 embedding 怎么融合,top-k 为什么是 5,要不要 rerank,用户问题要不要改写,多文档冲突怎么办,查不到时模型怎么拒答,怎么评测 RAG 好坏,这些都是问题。
最后系统是运行起来了,但从业务反馈结果来说,真正能不能用,效果好不好,都不得而知了,所谓结果冷暖自知。
把 RAG 拆开看,其实不是简单一个“上传文档然后问答”的动作,而是包含多个步骤的工程链路:
3
模型太强,反而掩盖了检索系统的问题
现在模型本身太强了,即使检索系统做得很一般,模型也能凭自己的预训练知识猜出一个看起来不错的答案。
于是就容易产生错觉:
我这个 RAG 好像效果还不错。
但实际情况可能是:检索没起什么作用,模型自己在答。你把检索结果删掉,模型依然能回答八九不离十。
4
会用工具,不等于解决问题
现在很多讨论还停留在“知不知道这个工具、会不会把它跑起来”的阶段。 会不会用工具,确实已经拉开了一层 gap。 但这个工具到底适不适合你的问题、能不能稳定解决业务问题、值不值得投入成本,那是另一层能力。
退一步说,可能很多企业根本不是“需要 RAG”,而是“看到别人都在做 AI,所以我也得有一个知识库助手”。 但是我想说, RAG 不是银弹,AI 也不是银弹。
因为企业的问题往往不是缺一个聊天框,而是:业务流程没梳理清楚,知识文档没人维护,数据口径不统一,权限体系不完整,责任边界不清晰,核心指标没人定义。
这种情况下,上 RAG 只是在混乱之上再套一层智能外壳。看起来接入了 AI,接入了新技术,有一个很好的故事,实际只是把问题包装得更难排查。
想到了一句老话:
用战术的勤奋,掩盖战略的懒惰。
真正的能力应该是: 定义问题,拆解问题,判断这个问题值不值得用 AI,判断 RAG 是不是合适路径,然后再设计技术方案。
担心的是了解得不够全面的前提下,刚跨过第一个会用工具的阶段,就以为已经到终点了。
5
第一层难点:数据进入知识库之前
5.1
数据清洗和文档切分
RAG 的第一步往往是清洗数据,但清洗只是开始。 多少类型的文档能够支持,pdf,docx,txt,html 之类,每个文档都有自己的格式,另外要不要 OCR,有表格,公式怎么办?
然后再是文档切分。
块要不要切?怎么切?按字符数切,按段落切,按标题层级切,还是按语义结构切?
如果 chunk 太大,检索会不精准;如果 chunk 太小,语义会断裂。
上下 chunk 要不要关联?
不关联,可能丢掉关键信息。
关联了,又可能把噪声带回来,让切分失去意义。
如果文档里有表格、代码、公式、法律条款、脚注、跨页内容,问题会更复杂。
5.2
原始文件存储选型
本地,分布式存储,还是某个数据库,还是做到 es,主要是方便快速的能够回查校正和测试。
5.3
metadata 设计
很多教程只把文本内容塞进向量库,但真实系统里 metadata 同样很重要。
比如:
文档类型 来源系统 时间版本 版本号 业务线 作者 权限等级
这些字段后面都可能参与:过滤、路由、排序、去冲突。
没有 metadata 的知识库,很容易变成…