企业级 RAG 系统实战(2万+文档):10 个项目踩过的坑(附代码工程示例)


So,从这篇开始,我会把日常闲暇时观摩的一些海外优质内容整理和加工后,附上自己的不同观察和思考也通过文章或者视频的形式发布出来,给各位做个参考。主要聚焦在 Reddit、Medium、X、Youtube 等平台。这篇就以 Reddit 上 r/AI_Agents 中一个月前发布的一篇有 905 upvotes 的帖子做个翻译整理。

这篇试图说清楚:

原帖的中文翻译(人话版)、原帖中四个工程要点的代码示例及实际应用建议、以及帖子评论区精华部分的内容节选。

以下,enjoy:

1

   

原帖子翻译

企业级 RAG 系统实战(2万+文档):10 个项目踩过的坑

原文来自 Reddit,作者在受监管行业(制药、金融、法律)为中型企业(100-1000 人)构建了 10+ 个 RAG 系统

过去一年我一直在做企业级 RAG 系统,服务的客户包括制药公司、银行、律所、咨询公司。说实话,这玩意儿比任何教程说的都难太多了。我想分享一些真正重要的东西,而不是网上那些基础教程。

先说背景:这些公司手里都有 1 万到 5 万份文档,堆在 SharePoint 或者 2005 年的文档管理系统里。不是什么精心整理的数据集,也不是知识库——就是几十年积累下来的业务文档,现在需要能被搜索到。

文档质量检测:没人说的关键环节

这是我最大的发现。大多数教程都假设你的 PDF 是完美的。现实是:企业文档就是一坨垃圾。

我有个制药客户,他们有 1995 年的研究论文,是打字机打出来再扫描的。OCR 基本不行。还混着现代的临床试验报告,500 多页,里面嵌了各种表格和图表。你试试对这两种文档用同一套分块策略,保证给你返回一堆乱七八糟的结果。

我花了几周调试,搞不懂为什么有些文档效果很差,有些又很好。最后意识到:必须先给文档质量打分,再决定怎么处理:

  • 干净的 PDF(文本提取完美)→ 完整的层级化处理

  • 一般的文档(有点 OCR 问题)→ 基础分块 + 清理

  • 垃圾文档(扫描的手写笔记)→ 简单固定分块 + 标记人工复查

我做了个简单的评分系统,看文本提取质量、OCR 瑕疵、格式一致性,然后根据分数把文档送到不同的处理流程。

"This single change fixed more retrieval issues than any embedding model upgrade."

这一个改动解决的检索问题,比升级 embedding 模型管用得多。

固定大小分块基本是错的

所有教程都说:"把所有东西切成 512 token,加点重叠就行!"

现实是:文档是有结构的。研究论文的方法论部分和结论部分不一样。财报有执行摘要,也有详细表格。如果无视结构,你会得到切到一半的句子,或者把不相关的概念混在一起。

我必须构建层级化分块(Hierarchical Chunking),保留文档结构:

  • 文档级(标题、作者、日期、类型)

  • 章节级(摘要、方法、结果)

  • 段落级(200-400 tokens)

  • 句子级(用于精确查询)

核心思路:查询的复杂度决定检索的层级。宽泛的问题在段落级检索。精确的问题比如"表 3 里的剂量是多少?"需要句子级精度。

我用简单的关键词检测——像"exact"(精确)、"specific"(具体)、"table"(表格)这些词会触发精准模式。如果置信度低,系统会自动下钻到更精确的分块。

元数据架构比你的 Embedding 模型更重要

这部分我花了 40% 的开发时间,但 ROI 是最高的。

大多数人把元数据当成事后想起来的东西。但企业查询的上下文非常复杂。一个制药研究员问"儿科研究",需要的文档和问"成人群体"的完全不同。

我为不同领域构建了专门的元数据模式:

制药文档:

  • 文档类型(研究论文、监管文件、临床试验)

  • 药物分类

  • 患者人口统计(儿科、成人、老年)

  • 监管类别(FDA、EMA)

  • 治疗领域(心血管、肿瘤)

金融文档:

  • 时间周期(2023 Q1、2022 财年)

  • 财务指标(收入、EBITDA)

  • 业务部门

  • 地理区域

别用 LLM 提取元数据——它们不靠谱。简单的关键词匹配效果好得多。查询里有"FDA"?就过滤 regulatory_category: "FDA"。提到"儿科"?应用患者群体过滤器。

从每个领域 100-200 个核心术语开始,根据匹配不好的查询逐步扩展。领域专家通常很乐意帮忙建这些列表。

语义搜索失效的时候(剧透:很多)

纯语义搜索失效的频率比大家承认的高得多。在制药和法律这种专业领域,我看到的失败率是 15-20%,不是大家以为的 5%。

让我抓狂的主要失败模式:

缩写混淆: "CAR" 在肿瘤学里是"嵌合抗原受体",但在影像论文里是"计算机辅助放射学"。相同的 embedding,完全不同的意思。这让我头疼死了。

精确技术查询: 有人问"表 3 里的确切剂量是多少?"语义搜索会找到概念上相似的内容,但会错过具体的表格引用。

交叉引用链: 文档之间不断互相引用。药物 A 的研究引用了药物 B 的交互数据。语义搜索完全丢失这些关系网络。

解决方案: 构建混合方法。用图层(Graph Layer)在处理时跟踪文档关系。语义搜索之后,系统会检查检索到的文档是否有相关文档有更好的答案。

对于缩写,我做了上下文感知的扩展,用领域专用的缩写数据库。对于精确查询,关键词触发会切换到基于规则的检索来获取特定数据点。

为什么我选开源模型(具体是 Qwen)

大多数人以为 GPT-4o 或 o3-mini 总是更好。但企业客户有些奇怪的约束:

  • 成本: 5 万份文档 + 每天几千次查询,API 费用会爆炸

  • 数据主权: 制药和金融不能把敏感数据发到外部 API

  • 领域术语: 通用模型会在没训练过的专业术语上产生幻觉

Qwen QWQ-32B 在领域微调后效果出奇的好:

  • 比 GPT-4o 便宜 85%(大批量处理)

  • 一切都在客户基础设施上

  • 可以在医疗/金融术语上微调

  • 响应时间稳定,没有 API 限流

微调方法很直接——用领域问答对做监督训练。创建像"药物 X 的禁忌症是什么?"这样的数据集,配上实际的 FDA 指南答案。基础的监督微调比 RAFT 这种复杂方法效果更好。关键是要有干净的训练数据。

表格处理:隐藏的噩梦

企业文档里到处都是复杂表格——财务模型、临床试验数据、合规矩阵。标准 RAG 要么忽略表格,要么把它们提取成非结构化文本,丢失所有关系。

"Tables contain some of the most critical information... If you can't handle tabular data, you're missing half the value."

表格包含了最关键的信息。如果处理不好表格数据,你就丢了一半的价值。

财务分析师需要特定季度的精确数字。研究人员需要临床表格里的剂量信息。

我的方法:

  • 把表格当成独立实体,有自己的处理流程

  • 用启发式方法检测表格(间距模式、网格结构)

  • 简单表格:转成 CSV。复杂表格:在元数据中保留层级关系

  • 双重 embedding 策略:既 embed 结构化数据,也 embed 语义描述

在银行项目里,到处都是财务表格。还得跟踪汇总表和详细分解表之间的关系。

生产基础设施的现实检验

教程假设资源无限、运行时间完美。生产环境意味着并发用户、GPU 内存管理、稳定的响应时间、运行时间保证。

大多数企业客户已经有闲置的 GPU 基础设施——未使用的算力或其他数据科学工作负载。这让本地部署比预期的容易。

通常部署 2-3 个模型:

  • 主生成模型(Qwen 32B)用于复杂查询

  • 轻量级模型用于元数据提取

  • 专门的 embedding 模型

尽可能用量化版本。Qwen QWQ-32B 量化到 4-bit 只需要 24GB VRAM,但保持了质量。可以在单张 RTX 4090 上运行,不过 A100 对并发用户更好。

最大的挑战不是模型质量——而是防止多个用户同时访问系统时的资源竞争。用信号量限制并发模型调用,加上合适的队列管理。

真正重要的经验教训

  1. 文档质量检测优先: 不能用同一种方式处理所有企业文档。先构建质量评估,再做其他事。

  2. 元数据 > embeddings: 元数据不好,检索就不好,不管你的向量有多棒。花时间做领域专用的模式。

  3. 混合检索是必须的: 纯语义搜索在专业领域失败太频繁。需要基于规则的后备方案和文档关系映射。

  4. 表格很关键: 如果处理不好表格数据,就丢失了企业价值的一大块。

  5. 基础设施决定成败: 客户更在乎可靠性,而不是花哨功能。资源管理和运行时间比模型复杂度更重要。

说点真话

"Enterprise RAG is way more engineering than ML."

企业 RAG 更多是工程,而不是机器学习。

大多数失败不是因为模型不好——而是低估了文档处理的挑战、元数据的复杂性、生产基础设施的需求。

现在需求真的很疯狂。每个有大量文档库的公司都需要这些系统,但大多数人根本不知道处理真实世界的文档有多复杂。

反正这玩意儿比教程说的难太多了。企业文档的各种边缘情况会让你想把笔记本扔出窗外。但如果搞定了,ROI 还是很可观的——我见过团队把文档搜索从几小时缩短到几分钟。

2

   

四个工程要点代码示例

上面译文看完可能还不够直观,我挑了四个觉得比较重要的工程要点,并结合对应的业界常用的开源组件进行核心代码逻辑的展示,供各位参考。

2.1

   

文档质量评分系统

原帖最大的创新点是在处理文档前先给它打分,根据质量路由到不同 pipeline。作者说这一个改动解决的检索问题比升级 embedding 模型还多。

核心是识别三种文档:Clean(80+分)的文档文本提取完美,可以完整层级化处理;Decent(50-80 分)的文档有 OCR 瑕疵,需要基础分块加清理;Garbage(<50 分)的扫描手写笔记只能固定分块并人工复查。

评分维度包括文本提取质量(权重 50%)、格式一致性(30%)和表格完整性(20%),通过采样前 3 页来快速评估整个文档。下面以 PaddleOCR 为例,做个代码逻辑演示:

from paddleocr import PaddleOCRimport numpy as np
class DocumentQualityScorer:    def __init__(self):        self.ocr = PaddleOCR(use_angle_cls=True, lang='ch')
    def score_document(self, pdf_images):        """对文档打分并选择pipeline"""        scores = []        for img in pdf_images[:3]:  # 采样前3页            result = self.ocr.ocr(img, cls=True)            if not result or not result[0]:                scores.append(0)                continue
            # 提取置信度            confidences = [line[1][1] for line in result[0]]            avg…
— 以上为试看内容(约 40%),开通会员后阅读全文 —