RAG 工程里的上下文剪枝:如何减少 68% 的上下文
做 RAG 时,我们会关注“如何召回更多内容”。去研究怎么切 chunk、怎么做 embedding、怎么混合关键词和向量检索、怎么做 rerank,让尽可能多的相关资料塞进模型上下文,从而让 RAG 系统回答得更准。
Kapa 讨论了检索之后的下一步:当候选资料找回来后,要不要把它们原封不动地塞给大模型?
Kapa 在 Reranker 和 Generator 之间,加了一个轻量小模型(上图 Pruner)。这个小模型会先评估用户问题与候选 chunk,直接剪掉明显无用的内容,只把精简后的数据交给生成模型。
在多组实验配置中,Kapa 最终选了一个压缩率较高、召回率损失仍可接受的方案。这个配置剪掉了大约 68% 的检索 chunk,并保留了约 96% 的召回率。扣除剪枝模型自身的调用成本,整体的单次查询成本依然下降了约 34%,大约三分之一左右。
检索成本
在 Kapa 的技术知识库问答场景中,他们接入了技术文档、API 参考、PDF、论坛以及支持工单等多种资料,并作为检索上下文提供给 AI 助手。
这个工作流程是:Retriever(检索系统)先从知识库中检索出候选 chunk,Reranker 会根据问题相关性,对检索到的候选 chunk 重新排序,最后将靠前的 chunk 提交给生成模型生成回答。
然而,检索系统为了避免漏掉回答所需的关键信息,返回结果会偏保守。宁愿多返回一些可能相关的 chunk,也要确保召回率。这种做法保证了准确性,但带来了直接的成本问题。生成模型是要为读到的每一个 chunk 付费的。
在助手服务中,检索到的 chunk 占了单次查询成本的 2/3,这个开销甚至超过了生成回答、对话历史和 system prompt 的成本总和。在这种场景下,每减少一个进入模型的 chunk,就能直接降低约 4% 的单次查询成本。
上下文剪枝就是用来解决上面这些问题的。在 RAG 系统检索回来的候选内容中,只有一部分会被回答真正用到,剩下的部分都只是“看起来相关”。即使生成模型忽略了这些无用内容,token 成本还是产生了。因此,上下文剪枝的目标非常明确,就是在生成模型读取资料之前,对候选 chunk 进行二次筛选,尽可能只保留回答真正需要的内容。
失效路径
最简单的上下文剪枝方案是直接用 Reranker 分数来裁剪候选 chunk。
例如,设定一个分界线,分数高于 0.7 的保留,低于 0.7 的直接丢弃。这个方案看起来可行性很高,毕竟多数 RAG 系统自带 Reranker。既然 Reranker 已经对每个 chunk 打了分,直接利用现有分数进行截断,似乎可以顺理成章地省下一次额外的小模型调用成本。
但实践证明,这条路径并不可靠。
分数阈值与组合相关性
上面方案不可行的第一个原因是,Rerank 分数是一个排序信号。它能确定某个 chunk 在当前问题下的相对排序,却不能保证不同问题之间的分数具有相同的衡量标准。一个问题下的 0.7,和另一个问题下的 0.7,可能相关性并不高。
不用分数截断上下文的话,还有一种做法是位置截断。只保留前 5 个 chunk,或是把保留范围从前 15 个缩减到前 10 个。这种方式很简单、成本完全可控,但弊端也很明显:位置截断只关注“谁排在前面”,无法判断“该内容是否必要”。这种一刀切的做法在过滤掉噪声的同时,也可能会误删回答问题所需的候选内容。
这里分享一个具体案例:
用户问:“能不能只针对某一个 project 关闭 audit logforwarding?”
系统检索到了两个关键 chunk:
第一个 chunk 提到:audit log forwarding 是在 org 设置里切换的。
第二个 chunk 提到:project 不能覆盖 org 设置。
单独来看,第二个 chunk 并没有直接出现“audit log forwarding”这个词,在排序时会被当成噪声过滤掉。但如果缺少了它,系统就无法拼凑出“无法单独为某个项目关闭”这个答案。
这种情况在技术知识库问答中很常见。要解答一个技术问题,一般需要定义、约束、例外条件以及边界限制等多方面资料的配合。这些资料单独看都不像直接答案,但组合在一起能构成完整的逻辑链条。
然而,大多数 Reranker 都在逐个判断查询与单个 chunk 的关系。它在评估候选内容时,只能看到“当前问题”和“当前这一段内容”,无法同时看到其他候选 chunk,因此很难判断某段内容是否是另一段内容的必要补充。
因此,真正要评估的对象是 c…