企业 RAG 知识库落地,真正难的不是调用大模型

最近两年,似乎所有企业,都在追AI的风口,很多企业都在做 AI 知识库、智能客服、问答助手、文档助手、研发助手、运营助手、决策建议等。技术方案听上去似乎也都很统一:把企业文档接入大模型,做一个 RAG 系统。

很多团队一开始觉得这件事不难:

不就是把文档切片,丢进向量数据库,然后用户提问时检索相关内容,再把内容塞给大模型回答吗?

从 Demo 角度看,确实不难。用 Spring Boot、LangChain4j、Spring AI、向量数据库,再接一个大模型 API,几天就能跑起来。

但真正进入企业生产环境后,很多团队会发现:

RAG 实现最难的,根本不是调用大模型,而是数据治理、检索质量、权限控制、效果评估和工程化落地。

一、先说清楚:RAG 到底是什么?

从事AI开发,RAG是必修课。它的称是 Retrieval-Augmented Generation,中文通常叫:检索增强生成。

简单来说,它的核心思想是:

大模型本身不一定知道你的企业内部知识,所以先从企业知识库里检索相关资料,再把资料和用户问题一起交给大模型,让大模型基于这些资料生成答案。

一个典型 RAG 流程大概是这样的:

1. 上传文档,例如 PDF、Word、Markdown、网页、数据库记录。

2. 系统解析文档内容。

3. 把文档切成多个文本片段,也就是 Chunk。

4. 对每个 Chunk 做 Embedding 向量化。

5. 把向量和原文存入向量数据库。

6. 用户提问时,先把问题也做向量化。

7. 在向量数据库中检索相似内容。

8. 把检索到的内容和用户问题拼成 Prompt。

9. 调用大模型生成答案。

10. 返回答案,并最好附带引用来源。

这个流程看起来很清晰,甚至有点像传统搜索引擎加大模型总结。

但问题在于:Demo 里的每一步,到了企业环境都会变复杂。

二、Demo 很简单,生产很困难?

很多小公司,直接找个能做AI开发的程序员,先折腾一番,搞个Demo出来,看起来效果很好,这几把都是在以下的理想条件下,如:

  • 文档数量少
  • 文档格式统一
  • 内容质量高
  • 没有权限控制
  • 用户问题简单
  • 不考虑成本
  • 不考虑并发
  • 不考虑答案准确率评估
  • 不考虑数据更新
  • 不考虑安全合规

但真实的企业使用环境完全不是这样,企业知识库里的数据通常是这样的:

  • 有 PDF、Word、Excel、PPT、网页、飞书文档、数据库记录等。
  • 文档里有表格、图片、代码块、标题、脚注、目录、页眉页脚。
  • 很多文档已经过期,但没人维护。
  • 同一个问题在不同文档里有不同版本的答案。
  • 有些知识只能给部分部门看。
  • 用户提问方式非常随意。
  • 业务人员希望答案准确,研发希望接口稳定,老板希望成本可控。

所以,RAG 落地不是简单地“接入大模型”。它更像是一个结合了 搜索系统、知识管理系统、权限系统、推荐系统、NLP 工程和后端架构 的综合项目。

那么,难点在哪里?

一


文档解析,比你想象中复杂得多


很多人做 RAG 的第一步就是文档上传。听起来很简单:用户上传一个 PDF,解析出文本,切片,然后入库。但企业文档常常不是纯文本。

1. PDF 不等于文本

PDF 分很多种:

  • 原生文本 PDF
  • 扫描版 PDF
  • 图片型 PDF
  • 带复杂表格的 PDF
  • 带多栏排版的 PDF
  • 带页眉页脚和水印的 PDF

如果是扫描版 PDF,就需要 OCR。
如果是复杂表格,普通文本提取会直接把表格结构打乱。
如果是多栏排版,解析出来的文本顺序可能是错的。

一旦文档解析质量差,后面的向量检索和大模型回答都会受到影响。

垃圾进,垃圾出。

RAG 服务不是魔法。前面解析错了,大模型只会基于错误内容一本正经地胡说。

2. Word、Excel、PPT 各种坑

Word 文档里可能有:

  • 标题层级
  • 表格
  • 图片
  • 批注
  • 页眉页脚
  • 超链接
  • 嵌入对象

Excel 里可能有:

  • 多个 Sheet
  • 合并单元格
  • 复杂表头
  • 公式
  • 隐藏行列
  • 备注
  • 结构化数据

PPT 里可能有:

  • 文本框
  • 图表
  • 流程图
  • 图片
  • 演讲备注
  • 页内元素顺序问题

这些内容如果简单地全部转成纯文本,很多上下文信息都会丢失。

例如以下的 Excel 表格:

如果解析后变成:

产品 价格 适用客户 A 套餐 999 元 小微企业 B 套餐 2999 元 中型企业

大模型未必能正确理解表格结构。

所以企业 RAG 的第一道门槛就是:文档解析不能只追求“能读出来”,还要尽量保留结构。

二


文本切片不是随便切 500 字

很多教程里会告诉你:把文档按固定长度切,如每 500 个字符切一段,每段重叠 50 个字符。

这个方法适合 Demo,但不一定适合企业知识库。

1. 切片太短,上下文不完整

例如原文是:

申请退款需要满足以下条件:1. 订单支付成功;2. 未超过 7 天;3. 商品未发货;4. 企业客户需要提交审批单。

如果切片时把“申请退款需要满足以下条件”和具体条件切开,那么用户问:

企业客户怎么申请退款?

系统可能只召回到部分条件,导致答案不完整。

2. 切片太长,检索不精准

如果一个 Chunk 太大,里面混合了很多主题:

退款规则、发票规则、合同规则、售后规则、审批规则……

用户只问“发票怎么开”,向量检索可能召回这个大段内容,但里面噪声很多。大模型最终生成的答案也容易跑偏。

3. 更合理的切片方式

企业 RAG 更推荐按照文档结构切片:

  • 按标题层级切
  • 按段落切
  • 按表格切
  • 按 FAQ 问答对切
  • 按业务模块切
  • 按语义边界切

例如:

一级标题:售后政策二级标题:退款规则三级标题:企业客户退款流程内容…
— 以上为试看内容(约 40%),开通会员后阅读全文 —