企业级 RAG 系统实战(2万+文档):10 个项目踩过的坑(附代码工程示例)
So,从这篇开始,我会把日常闲暇时观摩的一些海外优质内容整理和加工后,附上自己的不同观察和思考也通过文章或者视频的形式发布出来,给各位做个参考。主要聚焦在 Reddit、Medium、X、Youtube 等平台。这篇就以 Reddit 上 r/AI_Agents 中一个月前发布的一篇有 905 upvotes 的帖子做个翻译整理。
这篇试图说清楚:
原帖的中文翻译(人话版)、原帖中四个工程要点的代码示例及实际应用建议、以及帖子评论区精华部分的内容节选。
以下,enjoy:
1
原帖子翻译
企业级 RAG 系统实战(2万+文档):10 个项目踩过的坑
原文来自 Reddit,作者在受监管行业(制药、金融、法律)为中型企业(100-1000 人)构建了 10+ 个 RAG 系统
过去一年我一直在做企业级 RAG 系统,服务的客户包括制药公司、银行、律所、咨询公司。说实话,这玩意儿比任何教程说的都难太多了。我想分享一些真正重要的东西,而不是网上那些基础教程。
先说背景:这些公司手里都有 1 万到 5 万份文档,堆在 SharePoint 或者 2005 年的文档管理系统里。不是什么精心整理的数据集,也不是知识库——就是几十年积累下来的业务文档,现在需要能被搜索到。
文档质量检测:没人说的关键环节
这是我最大的发现。大多数教程都假设你的 PDF 是完美的。现实是:企业文档就是一坨垃圾。
我有个制药客户,他们有 1995 年的研究论文,是打字机打出来再扫描的。OCR 基本不行。还混着现代的临床试验报告,500 多页,里面嵌了各种表格和图表。你试试对这两种文档用同一套分块策略,保证给你返回一堆乱七八糟的结果。
我花了几周调试,搞不懂为什么有些文档效果很差,有些又很好。最后意识到:必须先给文档质量打分,再决定怎么处理:
干净的 PDF(文本提取完美)→ 完整的层级化处理
一般的文档(有点 OCR 问题)→ 基础分块 + 清理
垃圾文档(扫描的手写笔记)→ 简单固定分块 + 标记人工复查
我做了个简单的评分系统,看文本提取质量、OCR 瑕疵、格式一致性,然后根据分数把文档送到不同的处理流程。
"This single change fixed more retrieval issues than any embedding model upgrade."
这一个改动解决的检索问题,比升级 embedding 模型管用得多。
固定大小分块基本是错的
所有教程都说:"把所有东西切成 512 token,加点重叠就行!"
现实是:文档是有结构的。研究论文的方法论部分和结论部分不一样。财报有执行摘要,也有详细表格。如果无视结构,你会得到切到一半的句子,或者把不相关的概念混在一起。
我必须构建层级化分块(Hierarchical Chunking),保留文档结构:
文档级(标题、作者、日期、类型)
章节级(摘要、方法、结果)
段落级(200-400 tokens)
句子级(用于精确查询)
核心思路:查询的复杂度决定检索的层级。宽泛的问题在段落级检索。精确的问题比如"表 3 里的剂量是多少?"需要句子级精度。
我用简单的关键词检测——像"exact"(精确)、"specific"(具体)、"table"(表格)这些词会触发精准模式。如果置信度低,系统会自动下钻到更精确的分块。
元数据架构比你的 Embedding 模型更重要
这部分我花了 40% 的开发时间,但 ROI 是最高的。
大多数人把元数据当成事后想起来的东西。但企业查询的上下文非常复杂。一个制药研究员问"儿科研究",需要的文档和问"成人群体"的完全不同。
我为不同领域构建了专门的元数据模式:
制药文档:
文档类型(研究论文、监管文件、临床试验)
药物分类
患者人口统计(儿科、成人、老年)
监管类别(FDA、EMA)
治疗领域(心血管、肿瘤)
金融文档:
时间周期(2023 Q1、2022 财年)
财务指标(收入、EBITDA)
业务部门
地理区域
别用 LLM 提取元数据——它们不靠谱。简单的关键词匹配效果好得多。查询里有"FDA"?就过滤 regulatory_category: "FDA"。提到"儿科"?应用患者群体过滤器。
从每个领域 100-200 个核心术语开始,根据匹配不好的查询逐步扩展。领域专家通常很乐意帮忙建这些列表。
语义搜索失效的时候(剧透:很多)
纯语义搜索失效的频率比大家承认的高得多。在制药和法律这种专业领域,我看到的失败率是 15-20%,不是大家以为的 5%。
让我抓狂的主要失败模式:
缩写混淆: "CAR" 在肿瘤学里是"嵌合抗原受体",但在影像论文里是"计算机辅助放射学"。相同的 embedding,完全不同的意思。这让我头疼死了。
精确技术查询: 有人问"表 3 里的确切剂量是多少?"语义搜索会找到概念上相似的内容,但会错过具体的表格引用。
交叉引用链: 文档之间不断互相引用。药物 A 的研究引用了药物 B 的交互数据。语义搜索完全丢失这些关系网络。
解决方案: 构建混合方法。用图层(Graph Layer)在处理时跟踪文档关系。语义搜索之后,系统会检查检索到的文档是否有相关文档有更好的答案。
对于缩写,我做了上下文感知的扩展,用领域专用的缩写数据库。对于精确查询,关键词触发会切换到基于规则的检索来获取特定数据点。
为什么我选开源模型(具体是 Qwen)
大多数人以为 GPT-4o 或 o3-mini 总是更好。但企业客户有些奇怪的约束:
成本: 5 万份文档 + 每天几千次查询,API 费用会爆炸
数据主权: 制药和金融不能把敏感数据发到外部 API
领域术语: 通用模型会在没训练过的专业术语上产生幻觉
Qwen QWQ-32B 在领域微调后效果出奇的好:
比 GPT-4o 便宜 85%(大批量处理)
一切都在客户基础设施上
可以在医疗/金融术语上微调
响应时间稳定,没有 API 限流
微调方法很直接——用领域问答对做监督训练。创建像"药物 X 的禁忌症是什么?"这样的数据集,配上实际的 FDA 指南答案。基础的监督微调比 RAFT 这种复杂方法效果更好。关键是要有干净的训练数据。
表格处理:隐藏的噩梦
企业文档里到处都是复杂表格——财务模型、临床试验数据、合规矩阵。标准 RAG 要么忽略表格,要么把它们提取成非结构化文本,丢失所有关系。
"Tables contain some of the most critical information... If you can't handle tabular data, you're missing half the value."
表格包含了最关键的信息。如果处理不好表格数据,你就丢了一半的价值。
财务分析师需要特定季度的精确数字。研究人员需要临床表格里的剂量信息。
我的方法:
把表格当成独立实体,有自己的处理流程
用启发式方法检测表格(间距模式、网格结构)
简单表格:转成 CSV。复杂表格:在元数据中保留层级关系
双重 embedding 策略:既 embed 结构化数据,也 embed 语义描述
在银行项目里,到处都是财务表格。还得跟踪汇总表和详细分解表之间的关系。
生产基础设施的现实检验
教程假设资源无限、运行时间完美。生产环境意味着并发用户、GPU 内存管理、稳定的响应时间、运行时间保证。
大多数企业客户已经有闲置的 GPU 基础设施——未使用的算力或其他数据科学工作负载。这让本地部署比预期的容易。
通常部署 2-3 个模型:
主生成模型(Qwen 32B)用于复杂查询
轻量级模型用于元数据提取
专门的 embedding 模型
尽可能用量化版本。Qwen QWQ-32B 量化到 4-bit 只需要 24GB VRAM,但保持了质量。可以在单张 RTX 4090 上运行,不过 A100 对并发用户更好。
最大的挑战不是模型质量——而是防止多个用户同时访问系统时的资源竞争。用信号量限制并发模型调用,加上合适的队列管理。
真正重要的经验教训
文档质量检测优先: 不能用同一种方式处理所有企业文档。先构建质量评估,再做其他事。
元数据 > embeddings: 元数据不好,检索就不好,不管你的向量有多棒。花时间做领域专用的模式。
混合检索是必须的: 纯语义搜索在专业领域失败太频繁。需要基于规则的后备方案和文档关系映射。
表格很关键: 如果处理不好表格数据,就丢失了企业价值的一大块。
基础设施决定成败: 客户更在乎可靠性,而不是花哨功能。资源管理和运行时间比模型复杂度更重要。
说点真话
"Enterprise RAG is way more engineering than ML."
企业 RAG 更多是工程,而不是机器学习。
大多数失败不是因为模型不好——而是低估了文档处理的挑战、元数据的复杂性、生产基础设施的需求。
现在需求真的很疯狂。每个有大量文档库的公司都需要这些系统,但大多数人根本不知道处理真实世界的文档有多复杂。
反正这玩意儿比教程说的难太多了。企业文档的各种边缘情况会让你想把笔记本扔出窗外。但如果搞定了,ROI 还是很可观的——我见过团队把文档搜索从几小时缩短到几分钟。
2
四个工程要点代码示例
上面译文看完可能还不够直观,我挑了四个觉得比较重要的工程要点,并结合对应的业界常用的开源组件进行核心代码逻辑的展示,供各位参考。
2.1
文档质量评分系统
原帖最大的创新点是在处理文档前先给它打分,根据质量路由到不同 pipeline。作者说这一个改动解决的检索问题比升级 embedding 模型还多。
核心是识别三种文档:Clean(80+分)的文档文本提取完美,可以完整层级化处理;Decent(50-80 分)的文档有 OCR 瑕疵,需要基础分块加清理;Garbage(<50 分)的扫描手写笔记只能固定分块并人工复查。
评分维度包括文本提取质量(权重 50%)、格式一致性(30%)和表格完整性(20%),通过采样前 3 页来快速评估整个文档。下面以 PaddleOCR 为例,做个代码逻辑演示:
from paddleocr import PaddleOCRimport numpy as npclass DocumentQualityScorer:def __init__(self):self.ocr = PaddleOCR(use_angle_cls=True, lang='ch')def score_document(self, pdf_images):"""对文档打分并选择pipeline"""scores = []for img in pdf_images[:3]: # 采样前3页result = self.ocr.ocr(img, cls=True)if not result or not result[0]:scores.append(0)continue# 提取置信度confidences = [line[1][1] for line in result[0]]avg…