RAG 全链路技术详解
在Agent的开发过程中,RAG技术的应用水平直接决定了Agent的业务上限。在跟进品牌行业AI运营战役时,架构组发现部分团队在RAG落地中面临共性挑战:知识库构建缺乏标准、检索召回精度达不到预期,以及缺乏量化评测体系。因此,我们梳理了这篇技术指南,期望从实战角度拆解RAG的全链路核心能力:从底层原理出发,深入探讨如何构建索引、如何通过技术手段优化召回,以及如何建立科学的评测闭环。希望通过这篇文章,大家能看清RAG背后的技术细节。不仅能把Agent做出来,更能通过调优和评测,构建出低幻觉、具备业务确定性的Agent应用。
大型语言模型(LLMs)已经取得了显著的成就,尽管它们仍然面临着很大的局限性,尤其是在特定领域或知识密集型任务中,特别是在处理超出其训练数据或需要当前信息的查询时,会产生 "幻觉"。为了克服这些挑战,检索增强生成(RAG)通过语义相似性计算从外部知识库中检索相关文档块,从而增强了 LLM。通过引用外部知识,RAG 可有效减少生成与事实不符内容的问题。
RAG,全称Retrieval Augmented Generation(检索增强生成),其工作原理为:当用户提问时,系统先从海量知识库中检索出与问题相关的实时或私有信息,并将这些信息作为参考背景与问题一起提供给大模型,让模型像做开卷考试一样,基于提供的可靠证据生成更准确、实时且可溯源的回答。
▐ 文档加载
文档加载是RAG的“入口”,它的质量直接决定了后续检索的准确性。简单来说,它的工作就是将各种格式的非结构化数据转化为系统可处理的统一文本格式。
文档加载的主要工作如下:
多格式适配: 兼容各种文件格式,如 PDF、Word、Markdown、HTML、JSON、TXT 甚至 Excel。
内容提取: 从原始文件中剥离出“净文本”。
- 如果是 PDF,需要解析文字层;如果是扫描件,则需要 OCR。
- 如果是 HTML,需要剔除脚本、样式表,只保留正文。
元数据(Metadata)提取: 在提取文本的同时,记录文档的属性,如:文件名、页码、标题、作者、创建时间、章节层级等。
初步清洗: 去除文档中的冗余信息,如乱码、过多的空格、特殊的非打印字符等。
▐ 文档切分
文档切分的主要方式如下:
按语义切块的实现(Meta-Chunking)
Meta-Chunking: Learning Text Segmentation and Semantic Completion via Logical Perception:该论文给出了一个基于逻辑和语义的chunking的方法,有完整的效果评测,可参考。
原理
计算文章中各句子(sentence)的PPL(困惑度),以此判断哪些句子应该被划分在一个文档块(trunk)中。
PPL(Perplexity,困惑度)源于信息论,是衡量语言模型预测序列好坏的核心指标。在该论文中,PPL 被巧妙地用作一种感知语义边界和逻辑完整性的度量工具。
直观理解: PPL 反映了语言模型在看到一段文本时有多“困惑”。低 PPL: 模型觉得这段话很通顺、逻辑连贯、符合语言规律;高 PPL: 模型觉得这段话很突兀、逻辑断层或不符合语境。
实现步骤
对文档进行切分:
将原始长文档按照标点符号切分成一个个句子(Sentences)。切分好的句子表示为,(x1, x2, ..., xn)。
使用一个轻量化的大模型(论文中常用 Qwen2)“计算”每个句子与他前面句子的PPL(困惑度)。其中,K表示xi中的token数。tik表示xi中的第k个token,t< i表示所有位于xi之前的token。通过这种方式,得到一条随文本流动的 PPL 曲线。
寻找 PPL 曲线上的局部极大值(Local Maximum)。当模型处理到某一句时,如果 PPL 突然大幅升高,说明这一句与前面的内容在逻辑上“脱节”了。这个 PPL 飙升的点就被标记为潜在的切分边界。
对每个切块(trunk)进行语义补全:解决因文本分块导致上下文信息丢失而引发的语义鸿沟问题。
全局增强的文本块重写(Globally Augmented Text Chunk Rewriting):for生成质量
预处理(可选):针对 LLM 难以一次性完全处理的极长文档,采用embedding模型对每个trunk进行向量化,识别出与当前trunk相近的trunk。
推理是否丢失信息: 利用 LLM 并结合预处理阶段识别出的潜在相关信息,对每个文本块判断是否丢失信息。核心任务是明确识别当前文本块中缺失的前提、背景信息、相关事实或结论性陈述。LLL 应全面列出信息缺失的领域,并具体说明需要补充的信息。
丢失信息提炼:对上一阶段检测到的潜在丢失信息进行打分和筛选。我们旨在防止引入无关或错误的补充内容,从而确保增强过程的精确性。
丢失信息补全:基于前一阶段确认的必要信息,引导 LLM 生成这些信息片段并与当前文本块进行整合。目标是生成一个在上下文中无缝衔接、语义自然且能有效实现跨块信息融合的新文本块。
摘要生成(Context-Aware Summary Generation):每个文本块生成一个富含全局信息的简明摘要,从而进一步增强该文本块的语境感知能力。for检索
全局补充:模型利用全局信息为目标文本块生成一份补充摘要。这一过程旨在补偿由于切分(Segmentation)而可能缺失的话语背景(Discourse Background)和外部关联信息。
局部融合:针对文本块本身的内容,模型会独立生成一个局部摘要(Local Summary),以概括其核心观点。随后,将前述的“补充摘要”与“局部摘要”进行融合与精炼,最终形成一句话的增强摘要(Enhanced Summary Sentence)。该句子能够从全局视角清晰地表达该文本块的内容。
基本原理
索引构建是为了将一段文档根据其语义去生成向量。与传统embedding通过“预测”任务把文档转换成向量不同,现代embedding模型(千问 text-embedding-v4等)基于Transformer架构,将文档通过深度学习模型映射到连续的向量空间。下面以“苹果手机很好用”为例来详细看下映射过程:
分词与编号(Tokenization):
将“苹果手机很好用”切分为:[苹果, 手机, 很好用]。
在头尾增加特殊字符:
[CLS]:放在句首,代表“分类/全句汇总”信息;[SEP]:放在句尾,代表句子结束。将token转换为id:根据embedding模型中预设好的词表,将token转换为数字索引。[CLS, 苹果, 手机, 很, 好用, SEP] -> [101, 512, 678, 321, 102]。
映射初始向量:在进入复杂的计算层之前,将数字索引变成一个基础向量。
查表: 查阅embedding模型中预定义的表格,每个ID拿到一个例如1536维的初始向量。
转换:模型有三个权重矩阵(WQ,WK,WV)。这三个矩阵是模型训练好后固定不变的参数。每个token都会通过数学变换变成三个角色(向量),我们称之为 Q、K、V。其中,Query (Q) —— “提问者”:我想找什么样的主体?Key (K) —— “被索引者”:我能提供什么样的特征?Value (V) —— “内容本身”:我实际代表的含义。
注入位置信息(Positional Encoding):给每个向量额外加上一组代表位置的数字。这样模型就知道“苹果”在第1位,“很好用”在第3位。其中,X是与位置相关的矩阵。
自注意机制(Self-Attention):
计算每个token与其他token的相关性:
“苹果”的 Q × “苹果”的 K = 分数很高(自关联)
“苹果”的 Q × “苹果”的 K = 分数很高(语义强相关)
“苹果”的 Q × “很好用”的 K = 分数一般
- 分配权重(归一化):刚才计算的分数转化成百分比
“苹果”的 Q × “苹果”的 K = 100%
“苹果”的 Q × “苹果”的 K = 50%
“苹果”的 Q × “很好用”的 K = 10%
- 重新计算每个token的向量:模型把所有词的 V(内容本身) 按照刚才的百分比“混合”在一起:
“苹果”的新向量 = 100% * “苹果”的V + 50% * “手机”的V + 10% * “很好用”的V。
“苹果”的向量会吸收“手机”的特征。“苹果”向量里的“水果/红色”特征被抑制,而“电子产品/科技”特征被放大。
- 逐层深化:以上过程通常会重复 12 层或 24 层。
- 随着层数增加,每个 Token 的向量都不再是原来的意思,而是包含了整句话信息的“超级词向量”。比如“好用”的向量里现在也包含了“手机”的信息。
- 优池处理(Pooling):将每个token的向量合并成一个向量。
- CLS 方式: 直接取第一个[CLS](句首)位置对应的向量。模型认为这个位置的向量已经吸收了全句的精华。
- Mean Pooling(平均池化): 把 5 个向量相加取平均值(这是目前 BGE 等 RAG 模型最常用的方式,因为它能最平稳地代表全句含义)。
- Max Pooling(最大池化): 提取 5 个向量中每一维度的最大值,保留最强烈的语义特征。
- 向量归一化(L2 Normalization):将池化后生成的向量进行归一化,即使其模长(长度)等于 1。归一化后,两个向量的点积(Dot Product)就直接等于它们的余弦相似度。这大大加快了在向量数据库中搜索的速度。
常用的embedding模型
备注:部分数据来自大模型,仅供参考。
检索阶段会召回与问题最相关的文本段。通过embedding模型对问题进行文本向量化,并与向量数据库的段落进行语义相似度的比较,找出最相关的段落。为大模型提供高质量、强相关的参考证据,直接决定了生成答案的准确性、相关性以及消除幻觉的上限。
Query改写
Query优化
- 核心目标:对用户原始查询进行优化,纠正原始问题中的偏差、模糊或不完整信息,以提高检索效果。
- 解决的问题:
指代消解(Coreference Resolution): 处理多轮对话。例如用户问“它的价格是多少?”,改写器会根据上下文将其改写为“华为 Mate 60 Pro 的价格是多少?”。
纠错与去噪: 修正错别字,剔除无意义的口语助词(如“那个...我想问一下...”)。
术语对齐: 将口语化的表达转化为专业术语。例如将“肚子疼怎么办”改写为“腹痛的治疗建议”。
结构转换: 将复杂的长难句拆解或简化,提取出核心语义特征。
多查询生成
- 将单一查询转化为多查询,通过“广撒网”和“多维视角”来提升检索质量的技术。这种方法通常利用大模型针对用户的原始问题,从不同角度生成 3-5 个意思相近但表达不同的问题,然后分别进行检索。核心是提升召回率。
- 例子:
- 用户问“如何提高睡眠质量?”。扩展成:Query 1(侧重生活习惯):“睡前哪些习惯有助于入睡?”;Query 2(侧重环境因素):“什么样的卧室环境适合深度睡眠?”Query 3(侧重医学建议):“改善失眠的科学方法有哪些?”
- 效果: 相当于在向量空间里投下了多枚“探测器”。只要其中一个探测器接近目标,就能抓回正确答案。防止因为用户提问太片面而漏掉关键资料。
HyDE:用假设文档增强检索
- HyDE
(Hypothetical Document Embeddings):不是直接用“问题”去搜“答案”,而是先让 AI 瞎编一个“假答案”,再用这个“假答案”去搜“真内容”。本质是将“问题-文档匹配”转换成了“文档-文档匹配”。 - 解决的问题:在传统的向量检索中,我们面临一个“非对称检索“的问题。用户的问题: 通常很短,带有疑问语气(例如:“为什么天空是蓝色的?”)。知识库里的文档: 通常很长,是陈述性的(例如:“瑞利散射是指……导致波长较短的蓝色光散射更强……”)。在向量空间里,“问题”和“答案”的语义特征其实并不完全对等。有时候,系统很难仅凭一个短小的问题就精准捕捉到长篇大论的答案。
- HyDE 的工作流程:
- 接收提问: 用户输入一个问题(Query)。
- 生成虚构文档(Hypothetical Document):
- 系统调用大模型(LLM),给它一个指令:“请写一段话来回答这个问题”。
- 注意:此时模型并不去查资料,它只是凭自己的“直觉”或内部知识编一个答案。即便这个答案里包含错误的信息也没关系。
- 向量化(Embedding): 将这个虚构的答案转化成向量。
- 匹配检索: 用这个“虚构答案的向量”去数据库里找最相似的真实文档。
- 例子:
- 用户问:为什么面团放一会儿会变大?
- 知识库中的内容包含的是:“酵母发酵”、“二氧化碳释放”、“面筋网络”或“厌氧呼吸”等专业原理。
- LLM写一个伪答案:面团之所以会体积膨胀,是因为其中的酵母菌在适宜的温度下通过发酵作用分解糖分。这个过程产生了大量的二氧化碳(CO2)气体,气体被面粉中的面筋蛋白结构包裹,形成无数微小气泡。随着气泡增多和膨胀,整体面团的体积就会增大。
- 根据伪答案去知识库做向量检索。知识库中有一篇深奥的论文,题目叫《真菌代谢对谷物蛋白弹性的影响》。论文中包含“二氧化碳”、“酵母代谢”、“面筋网络弹性”等词汇。因为伪答案里也有这些词,两者的向量在空间中高度重合。
- 模型总结最终回答:根据生物学原理(参考《真菌代谢...》论文),面团变大是因为酵母发酵产生了二氧化碳。这些气体被面…