每个RAG工程师都应该了解的Ranking技术





01


引言



在做RAG日常应用中,很多人都不谈论Ranking技术——事实上重排序技术直接决定了你的 AI 应用成功还是失败。
Google、Netflix、带网页搜索的ChatGPT。它们有什么共同点?——一个Ranking算法决定了你先看到什么。
LTR(Learning to rank)在日常开发调试为什么 RAG 流水线对某些查询返回垃圾结果时,反复出现在我们面前。算法本身不难找到。但几乎所有构建 AI 应用的人似乎都不了解底层的Ranking技术。
你的RAG 流水线和你选择的排序器一样好。 给 LLM 喂不相关的上下文,再多的提示词工程也救不了你。RAG 中的"R"(检索)其实是一个穿着检索外衣的排序问题。
本文涵盖基础知识:为什么Ranking不同于分类、LambdaMART 实际上是如何工作的,以及这一切对 RAG 意味着什么。





02

为什么是Ranking?


标准机器学习对每个实例预测一个单一数值。例如垃圾邮件或非垃圾邮件,猫或狗,价格估算等。而Ranking则不同。
给定一个查询和一组文档,产生一个最优排序,让最相关的条目排在最前面。
关键在于:绝对分数无关紧要,只有相对顺序才重要。
一个模型对两个文档给出 0.7 和 0.5 的相关性分数,与另一个给出 0.001 和 0.0005 的模型产生完全相同的排序。然而标准的回归指标会严重惩罚第二个模型。
考虑两个模型对同一查询的一个相关文档和一个不相关文档进行打分:
  • 模型 A:相关文档 0.1,不相关文档 0.2——分数本身的误差小,但顺序错了
  • 模型 B:相关文档 0.7,不相关文档 0.5——绝对误差更大,但排序正确
模型 B 胜出。用户看不到分数,他们看到的是排序后的次序。你不能简单地去最小化均方误差,因为更低的回归误差并不能保证更好的排序。
LTR 需要专门设计的损失函数,来优化我们真正关心的东西:排序次序本身的质量。






03

三大范式


该领域最终形成了三种方法。它们在简洁性、计算成本和理论完备性之间各有取舍。
  • Pointwise单点法:最直接的路径
单点法将排序视为回归问题。对每个文档独立打分,然后按分数排序,完成。
不需要专门的损失函数或架构。如果你已经有了一个可用的分类流程,那你就得到了一个排序器。
问题在于,独立地对文档打分忽略了比较。没有任何机制能保证对于同一查询,相关文档的分数一定高于不相关文档。它优化的是错误的目标,然后寄希望于排序结果能凑合着用。
有时候确实凑合。这种程度足以用于原型开发,但当排序质量真正重要时,它并不可靠。
  • Pairwise配对法:直接比较文档
配对法将Ranking重新定义为在文档对上的二元分类。对于某个查询下的文档 A 和 B,预测哪个应该排在更前面。训练数据被转换成配对形式:(查询, 文档A, 文档B, 标签),其中标签指示 A > B 还是 B > A。
微软研究院在 2005 年提出的开创性算法 RankNet,对这些配对比较应用交叉熵损失,训练神经网络以最小化排序错误的配对。关键的技术优势在于:配对比较比独立打分更接近真正的排序目标。
代价是计算量。对于每个查询有n 个文档,需要处理 O(n²) 个文档对。一个有 100 个候选文档的查询会产生近 5000 个训练对。将其扩展到数百万个查询,存储就变成了一个实际问题。
此外,配对法也没有考虑完整的列表结构。一个模型可能正确排序了位置 1–2 的文档,却在位置 5–6 上出现严重错误。这两者对配对损失的贡献是相等的,但对用户而言,前者远比后者重要——用户很少会滚动浏览前几个结果之后的内容。
  • Listwise列表法:直接优化我们真正衡量的指标
列表级方法直接对整个排序列表进行优化。ListNet 基于 Plackett-Luce模型对所有可能的排列序列进行概率分布建模,并通过最小化预测分布与真实分布之间的 KL 散度来训练。AdaRank 则借助 Boosting 算法直接优化 NDCG 等信息检索指标。
这些方法在理论上更具优势,因为它们直接优化我们实际评估的指标。但它们面临一个根本性障碍:NDCG 等指标属于不可微的阶跃函数。当文档得分相互超越时,其排名位置会发生离散的跳变,导致无法为标准的反向传播算法计算梯度。
那么,人们究竟是如何实际优化 NDCG 的呢?





04

Lambda Gradients

技术的突破来自 LambdaRank(2006年)及其梯度提升变体LambdaMART(2010年)。这一技巧简单得出乎意料。
我们不再从损失函数推导梯度(因为对于不可微的评估指标,这根本做不到),而是直接将梯度定义为推动文档向其正确排序位置移动的“力”。
可以把它想象成物理学。跳过能量函数,直接测量力。我们知道文档应该朝哪个方向移动(即朝向它们的正确位置),并且能计算出如果它们移动了,排序指标会提升多少。这就足够了。
文档对的 lambda 梯度将 RankNet 的逐对(pairwise)梯度与实际指标变化量结合了起来:
λᵢⱼ = σ(sⱼ — sᵢ) × |ΔNDCG|
其中 |ΔNDCG|表示如果文档 i 和 j 交换位置,NDCG 会变化多少。如果提升某文档的位置能显著改善 NDCG,它就会获得更大的梯度幅值;而已经接近正确位置的文档,其梯度则较小。
这种方法通过在排序完成后计算梯度,巧妙地绕过了指标的不可微性。即使指标本身相对于分数不可微,指标的变化量依然是可计算的。
LambdaMART 将这些 lambda 梯度与梯度提升决策树(GBDT)相结合,构建出一个集成模型:其中每棵树都在拟合前一棵树留下的残差梯度。该算法赢得了 2010 年雅虎学习排序(Learning to Rank)挑战赛第一赛道(Track 1)的冠军,并且至今仍是各大搜索引擎在生产环境中的核心主力。
目前它已集成在 XGBoost(rank:ndcg 目标函数)、LightGBM(lambdarank)和 CatBoost(YetiRank)中。以下是实际应用示例:
from lightgbm import LGBMRankerranker = LGBMRanker(objective="lambdarank", metric="ndcg")ranker.fit(    X_train, y_train,    group=query_doc_counts,  # [10, 15, 8] = 3 queries with 10, 15, 8 docs    eval_set=[(X_val, y_val)],    eval_group=[val_query_counts],    eval_at=[5, 10]  # NDCG@5, NDCG@10)
group参数至关重要。它告诉排序模型哪些文档属于同一个查询,从而启用列表感知(list-aware)优化。缺少它,算法就会退化回逐点(pointwise)方法。





05

衡量指标

在深入之前,我们需要一套统一的术语来衡量排序质量。不同的指标捕捉了"好"这一概念的不同方面。
  • NDCG:黄金标准
NDCG(归一化折损累积增益,Normalized Discounted Cumulative Gain)能处理的是带有分级相关性和位置依赖权重的场景。并非所有相关文档都具有同等的相关性。有些是完全匹配,有些只是略有用途。NDCG 能够捕捉到这种细微差别。
其公式对位置施加对数折损:
DCG@k = Σᵢ (2^relevanceᵢ — 1) / log₂(1 + i)
位置 1 的文档获得全部积分。位置 2 的文档被折损 log₂(3) ≈ 1.58。到了位置 10,折损因子为 log₂(11) ≈ 3.46。这反映了用户的真实行为:他们对顶部结果的关注度远高于后面。
通过除以理想排序(即完美排序下的 NDCG 值)进行归一化,得到 [0, 1] 之间的分数。NDCG@10 为 0.85 意味着:你在前 10 个结果中达到了最佳可能排序的 85%。
NDCG 主导了学术研究,因为它能处理多级相关性,并且会惩罚排在较后位置的相关文档。如果你只能跟踪一个指标,那就选 NDCG。
  • MRR:第一个好结果在哪?
MRR(平均倒数排名)回答一个更简单的问题:平均而言,第一个相关结果出现在多靠后的位置?
MRR = (1/|Q|) × Σ(1/rankᵢ)
如果第一个相关结果在位置1,该查询贡献1.0。位置2贡献0.5。位置10贡献 0.1。
这对于“手气不错”场景(用户只想要一个正确答案)至关重要。这也直接关系到 RAG 系统为生成而选择上下文的过程。如果你的 RAG 流程只取 top-1 结果,MRR 告诉你这个结果实际相关的频率有多高。
  • MAP:精确率-召回率的平衡
MAP(平均准确率均值)针对二元相关性,计算所有召回水平上的平均准确率,然后在所有查询上取平均。本质上就是精确率-召回率曲线下的面积。它比 NDCG 更容易解释,但代价是丢失了分级相关性。
  • Precision@k 与 Recall@k
Precision@k和 Recall@k只是统计 top-k 结果中的相关条目数量。Precision@10= 0.3 意味着你前 10 个结果中有 3 个是相关的。不过,它们没有位置加权。
对于 RAG 应用,当你为重排序阶段检索候选文档时,Recall@k 非常重要。如果你的第一阶段检索完全漏掉了相关文档,那么后续无论多强的重排序模型都无力回天。





06
从BM25到BERT


传统的学习排序(LTR)模型消费的是特征向量,而非原始文本。在神经方法出现之前,特征工程是竞争的主战场。团队会在 TF-IDF 分数、BM25 变体、文档长度归一化以及链接分析信号的组合上无休止地迭代。
LETOR 基准数据集标准化了 46 个特征,涵盖在文档不同区域(标题、正文、锚文本)计算出的词频,以及 PageRank 等其他信号。构建一个排序器,就意味着构建一个特征流水线。
神经模型通过直接从文本中学习特征,彻底改变了这一局面。
  • DSSM:第一个基于神经网络的排序器
微软于 2013 年提出的 DSSM (深度结构化语义模型)开创了神经网络排序的先
河。它通过多层感知机将查询和文档映射到一个共享的语义空间,然后计算余弦相似度。
其核心理念是捕捉语义匹配。"最适合初学者的编程语言" 应该能匹配到关于 "易学的编码语言" 的文档,即使两者之间没有词语重叠。
这种方法部分有…
— 以上为试看内容(约 40%),开通会员后阅读全文 —