不要只是搭建:RAG 不是上传文档然后问答那么简单

1

   

前言

最近因为一些业务需要,需要快速进入一个新领域,然后就会涉及到调研某项技术,理解一批法律文档,希望在短时间内阅读大量资料并形成判断。总结下来这类事情有一个共同特点,那就是需要参考的文档很多,而且信息之间存在层级、版本、上下文和相互印证的关系。

那具体怎么操作呢,下意识的想到现在不有 AI 吗,不是有工具吗,不就是 AI chatbox 类产品(ChatGPT、Claude、豆包、kimi 等)或直接标榜的知识库类产品(NotebookLM 等)应该能解决的问题吗?

但是具体用下来,发现都有各种问题,有些工具对上传文件数量、文件大小有限制;有些回答看起来流畅,但细看发现没有真正命中文档;有些会漏掉关键材料;有些会把不同文档里的信息混在一起;有些甚至在证据不足时仍然给出很肯定的答案。

即使某些产品升级后标榜"无限文件"、"超长上下文"、"大容量知识库",从技术经验上看,我也很难相信真的存在没有限制的系统,资源一定是有限的。

所谓无限,通常只是产品层面的表达。底层一定还会有取舍:解析策略、索引策略、召回策略、上下文压缩、排序、截断、缓存、成本控制。

也正是因为这些实际痛点,我又重新去了解了一些 RAG。

之前我大概知道 RAG 是什么:检索增强生成,把外部知识检索出来,再喂给大模型回答。但真正深入看一些教程、demo 和工程讨论后,要做好,是件特别难的事,当然,这里好的定义,就不过多辩论了。

2

   

大部分 RAG 教程只是教你搭起来

现在 RAG 的教程大多数都是一个共同的套路:

1pip install安装或者dify,coze等
2上传加载文档
3切chunk
4生成embedding
5写入向量库
6top-k检索
7拼prompt
8调用大模型
9回答出来了
10完事
11

这个流程当然有价值,至少能让人知道 RAG 的基本链路。但问题是,很多文章就停在这里了,真正再深入的文章鲜有人讲。

文档怎么切;chunk 大小为什么这样设;embedding 模型怎么选;只用向量检索够不够,BM25 和 embedding 怎么融合,top-k 为什么是 5,要不要 rerank,用户问题要不要改写,多文档冲突怎么办,查不到时模型怎么拒答,怎么评测 RAG 好坏,这些都是问题。

最后系统是运行起来了,但从业务反馈结果来说,真正能不能用,效果好不好,都不得而知了,所谓结果冷暖自知。

把 RAG 拆开看,其实不是简单一个“上传文档然后问答”的动作,而是包含多个步骤的工程链路:

3

   

模型太强,反而掩盖了检索系统的问题

现在模型本身太强了,即使检索系统做得很一般,模型也能凭自己的预训练知识猜出一个看起来不错的答案。

于是就容易产生错觉:

我这个 RAG 好像效果还不错。

但实际情况可能是:检索没起什么作用,模型自己在答。你把检索结果删掉,模型依然能回答八九不离十。

4

   

会用工具,不等于解决问题

现在很多讨论还停留在“知不知道这个工具、会不会把它跑起来”的阶段。 会不会用工具,确实已经拉开了一层 gap。 但这个工具到底适不适合你的问题、能不能稳定解决业务问题、值不值得投入成本,那是另一层能力。

退一步说,可能很多企业根本不是“需要 RAG”,而是“看到别人都在做 AI,所以我也得有一个知识库助手”。 但是我想说, RAG 不是银弹,AI 也不是银弹。

因为企业的问题往往不是缺一个聊天框,而是:业务流程没梳理清楚,知识文档没人维护,数据口径不统一,权限体系不完整,责任边界不清晰,核心指标没人定义。

这种情况下,上 RAG 只是在混乱之上再套一层智能外壳。看起来接入了 AI,接入了新技术,有一个很好的故事,实际只是把问题包装得更难排查。

想到了一句老话:

用战术的勤奋,掩盖战略的懒惰。

真正的能力应该是: 定义问题,拆解问题,判断这个问题值不值得用 AI,判断 RAG 是不是合适路径,然后再设计技术方案。

担心的是了解得不够全面的前提下,刚跨过第一个会用工具的阶段,就以为已经到终点了。

5

   

第一层难点:数据进入知识库之前

5.1

   

数据清洗和文档切分

RAG 的第一步往往是清洗数据,但清洗只是开始。 多少类型的文档能够支持,pdf,docx,txt,html 之类,每个文档都有自己的格式,另外要不要 OCR,有表格,公式怎么办?

然后再是文档切分。

块要不要切?怎么切?按字符数切,按段落切,按标题层级切,还是按语义结构切?

如果 chunk 太大,检索会不精准;如果 chunk 太小,语义会断裂。

上下 chunk 要不要关联?

不关联,可能丢掉关键信息。

关联了,又可能把噪声带回来,让切分失去意义。

如果文档里有表格、代码、公式、法律条款、脚注、跨页内容,问题会更复杂。

5.2

   

原始文件存储选型

本地,分布式存储,还是某个数据库,还是做到 es,主要是方便快速的能够回查校正和测试。

5.3

   

metadata 设计

很多教程只把文本内容塞进向量库,但真实系统里 metadata 同样很重要。

比如:

  • 文档类型
  • 来源系统
  • 时间版本
  • 版本号
  • 业务线
  • 作者
  • 权限等级

这些字段后面都可能参与:过滤、路由、排序、去冲突。

没有 metadata 的知识库,很容易变成…

— 以上为试看内容(约 40%),开通会员后阅读全文 —