企业 RAG 知识库落地,真正难的不是调用大模型
最近两年,似乎所有企业,都在追AI的风口,很多企业都在做 AI 知识库、智能客服、问答助手、文档助手、研发助手、运营助手、决策建议等。技术方案听上去似乎也都很统一:把企业文档接入大模型,做一个 RAG 系统。
很多团队一开始觉得这件事不难:
不就是把文档切片,丢进向量数据库,然后用户提问时检索相关内容,再把内容塞给大模型回答吗?
从 Demo 角度看,确实不难。用 Spring Boot、LangChain4j、Spring AI、向量数据库,再接一个大模型 API,几天就能跑起来。
但真正进入企业生产环境后,很多团队会发现:
RAG 实现最难的,根本不是调用大模型,而是数据治理、检索质量、权限控制、效果评估和工程化落地。
一、先说清楚:RAG 到底是什么?
从事AI开发,RAG是必修课。它的称是 Retrieval-Augmented Generation,中文通常叫:检索增强生成。
简单来说,它的核心思想是:
大模型本身不一定知道你的企业内部知识,所以先从企业知识库里检索相关资料,再把资料和用户问题一起交给大模型,让大模型基于这些资料生成答案。
一个典型 RAG 流程大概是这样的:
1. 上传文档,例如 PDF、Word、Markdown、网页、数据库记录。
2. 系统解析文档内容。
3. 把文档切成多个文本片段,也就是 Chunk。
4. 对每个 Chunk 做 Embedding 向量化。
5. 把向量和原文存入向量数据库。
6. 用户提问时,先把问题也做向量化。
7. 在向量数据库中检索相似内容。
8. 把检索到的内容和用户问题拼成 Prompt。
9. 调用大模型生成答案。
10. 返回答案,并最好附带引用来源。
这个流程看起来很清晰,甚至有点像传统搜索引擎加大模型总结。
但问题在于:Demo 里的每一步,到了企业环境都会变复杂。
二、Demo 很简单,生产很困难?
很多小公司,直接找个能做AI开发的程序员,先折腾一番,搞个Demo出来,看起来效果很好,这几把都是在以下的理想条件下,如:
文档数量少 文档格式统一 内容质量高 没有权限控制 用户问题简单 不考虑成本 不考虑并发 不考虑答案准确率评估 不考虑数据更新 不考虑安全合规
但真实的企业使用环境完全不是这样,企业知识库里的数据通常是这样的:
有 PDF、Word、Excel、PPT、网页、飞书文档、数据库记录等。 文档里有表格、图片、代码块、标题、脚注、目录、页眉页脚。 很多文档已经过期,但没人维护。 同一个问题在不同文档里有不同版本的答案。 有些知识只能给部分部门看。 用户提问方式非常随意。 业务人员希望答案准确,研发希望接口稳定,老板希望成本可控。
所以,RAG 落地不是简单地“接入大模型”。它更像是一个结合了 搜索系统、知识管理系统、权限系统、推荐系统、NLP 工程和后端架构 的综合项目。
那么,难点在哪里?
一
文档解析,比你想象中复杂得多
很多人做 RAG 的第一步就是文档上传。听起来很简单:用户上传一个 PDF,解析出文本,切片,然后入库。但企业文档常常不是纯文本。
1. PDF 不等于文本
PDF 分很多种:
原生文本 PDF 扫描版 PDF 图片型 PDF 带复杂表格的 PDF 带多栏排版的 PDF 带页眉页脚和水印的 PDF
如果是扫描版 PDF,就需要 OCR。
如果是复杂表格,普通文本提取会直接把表格结构打乱。
如果是多栏排版,解析出来的文本顺序可能是错的。
一旦文档解析质量差,后面的向量检索和大模型回答都会受到影响。
垃圾进,垃圾出。
RAG 服务不是魔法。前面解析错了,大模型只会基于错误内容一本正经地胡说。
2. Word、Excel、PPT 各种坑
Word 文档里可能有:
标题层级 表格 图片 批注 页眉页脚 超链接 嵌入对象
Excel 里可能有:
多个 Sheet 合并单元格 复杂表头 公式 隐藏行列 备注 结构化数据
PPT 里可能有:
文本框 图表 流程图 图片 演讲备注 页内元素顺序问题
这些内容如果简单地全部转成纯文本,很多上下文信息都会丢失。
例如以下的 Excel 表格:
如果解析后变成:
产品 价格 适用客户 A 套餐 999 元 小微企业 B 套餐 2999 元 中型企业
大模型未必能正确理解表格结构。
所以企业 RAG 的第一道门槛就是:文档解析不能只追求“能读出来”,还要尽量保留结构。
二
文本切片不是随便切 500 字
很多教程里会告诉你:把文档按固定长度切,如每 500 个字符切一段,每段重叠 50 个字符。
这个方法适合 Demo,但不一定适合企业知识库。
1. 切片太短,上下文不完整
例如原文是:
申请退款需要满足以下条件:1. 订单支付成功;2. 未超过 7 天;3. 商品未发货;4. 企业客户需要提交审批单。
如果切片时把“申请退款需要满足以下条件”和具体条件切开,那么用户问:
企业客户怎么申请退款?
系统可能只召回到部分条件,导致答案不完整。
2. 切片太长,检索不精准
如果一个 Chunk 太大,里面混合了很多主题:
退款规则、发票规则、合同规则、售后规则、审批规则……
用户只问“发票怎么开”,向量检索可能召回这个大段内容,但里面噪声很多。大模型最终生成的答案也容易跑偏。
3. 更合理的切片方式
企业 RAG 更推荐按照文档结构切片:
按标题层级切 按段落切 按表格切 按 FAQ 问答对切 按业务模块切 按语义边界切
例如:
一级标题:售后政策二级标题:退款规则三级标题:企业客户退款流程内容…