每个RAG工程师都应该了解的Ranking技术
01
引言
02
模型 A:相关文档 0.1,不相关文档 0.2——分数本身的误差小,但顺序错了 模型 B:相关文档 0.7,不相关文档 0.5——绝对误差更大,但排序正确
03
Pointwise单点法:最直接的路径
Pairwise配对法:直接比较文档
Listwise列表法:直接优化我们真正衡量的指标
04
from lightgbm import LGBMRankerranker = LGBMRanker(objective="lambdarank", metric="ndcg")ranker.fit( X_train, y_train, group=query_doc_counts, # [10, 15, 8] = 3 queries with 10, 15, 8 docs eval_set=[(X_val, y_val)], eval_group=[val_query_counts], eval_at=[5, 10] # NDCG@5, NDCG@10)
group参数至关重要。它告诉排序模型哪些文档属于同一个查询,从而启用列表感知(list-aware)优化。缺少它,算法就会退化回逐点(pointwise)方法。05
NDCG:黄金标准
MRR:第一个好结果在哪?
MAP:精确率-召回率的平衡
Precision@k 与 Recall@k
DSSM:第一个基于神经网络的排序器