70% 的 RAG 系统缺乏评估体系。这意味着大多数知识库,在以「感觉还不错」为唯一质量标准运行。
换句话说:你不知道它什么时候开始答错,你也不知道那个分块参数改动悄悄让召回率跌了 15%。
这篇要解决一个具体问题:RAG 系统搭好了,怎么知道它好不好——用数字说话,而不是用感觉。
为什么「感觉还不错」是最危险的状态
传统后端系统出问题你知道——日志报错、指标飘红、用户投诉轰炸。
RAG 系统的问题不一样。它不报错,只给出「听起来合理但可能是错的」答案。
你改了分块参数,没有触发任何告警。你更新了 Embedding 模型,没有自动回归测试。三个月后,某个用户问了一个以前一直能答对的问题,得到了一个错误答案——你不知道这个问题从什么时候开始退化的,也不知道为什么。
这就是「盲飞」:系统在跑,但方向不明。
RAG 评估难,有四个根本原因:
1. 正确答案不唯一。 「公司的退款政策是什么」,可以有十种表达方式都算对。传统的 n-gram 相似度(BLEU/ROUGE)天生不适合这类问题——措辞不同但语义相同的答案会被打低分,而一个措辞高度相似的幻觉答案可能得高分。
2. 评估本身需要「理解」。 判断一个答案有没有忠实于检索内容,不能靠字符串比对,需要语义理解。这意味着评估本身要依赖 LLM,带来额外成本和偏差。
3. 检索和生成耦合。 答案不好,是检索没找到正确文档?还是找到了但 LLM 没用对?没有分阶段的评估,你只能猜。
4. 没有标准测试集。 传统 ML 有标注好的 benchmark。RAG 需要你自己建 (问题, 标准答案, 上下文) 三元组,成本高,质量难保证。
这四个问题,RAGAS 框架都给出了可用的工程解法。
三维度评估:从「能答」到「可信」到「切题」
评估 RAG,要覆盖三个层次——只看最终答案,你永远定位不到问题出在哪一层。
第一层:检索质量 找到正确的内容了吗? → Context Precision(检索到的内容有多少是有用的) → Context Recall(需要的内容有多少被检索到了)第二层:生成忠实性 有没有基于检索内容诚实作答? → Faithfulness(回答里有多少是有上下文支撑的)第三层:答案质量 答案有没有真正回答问题? → Answer Relevancy(切题程度) → Answer Correctness(事实正确性,需要 ground truth)
这五个指标,缺任何一个,评估都是残缺的。
5 个核心指标,算法级拆解
Context Precision:检索噪声有多少
不只是「检索到的内容有没有用」,还考虑排名——相关内容越靠前,得分越高。
算法是带位置权重的平均精确率(AP):
AP = Σ (Precision@k × is_relevant@k) / total_relevant
举例:检索了 5 个 chunk,相关性判断是 [✓, ✗, ✓, ✗, ✓]
- • 第 1 个相关:Precision@1 = 1/1 = 1.0,贡献 1.0
- • 第 3 个相关:Precision@3 = 2/3 = 0.667,贡献 0.667
- • 第 5 个相关:Precision@5 = 3/5 = 0.6,贡献 0.6
- • AP = (1.0 + 0.667 + 0.6) / 3 = 0.756
这个设计和 LLM 的实际行为吻合:研究表明相关内容放上下文开头,LLM 的利用率更高。Context Precision 低,通常意味着 Reranker 效果差,或分块太大把无关内容混进来了。
Context Recall:关键信息有没有漏掉
算法直接:把标准答案拆成原子陈述,逐条检查检索上下文是否能支撑它。
Recall = 有上下文支撑的陈述数 / 标准答案总陈述数
标准答案有 4 条陈述,检索内容支撑了 3 条 → Recall = 0.75。
Recall 低,说明关键信息没被捞出来——top-K 太小、分块切断了关键信息,或 Embedding 模型对该领域语义理解不好。
Precision 和 Recall 的组合诊断:
| 症状 | 意味着 | 先做什么 |
|---|---|---|
| Precision 高 + Recall 低 | 找到的质量好,但覆盖不全 | 适当调大 top-K |
| Precision 低 + Recall 高 | 覆盖全了,但带了太多噪声 | 加 Reranker 或改分块 |
| 两个都低 | 检索架构有问题 | 先查语料质量 |
Faithfulness:有没有在「脑补」
这个指标专门测幻觉。
算法:把生成答案拆成原子陈述,逐条检查每条陈述是否有检索上下文的支撑。
Faithfulness = 有上下文支撑的陈述数 / 答案总陈述数
一个容易踩的坑:Faithfulness = 0.95 不代表系统可信。如果知识库里的文档本身是错的,LLM 忠实地传递了错误内容,Faithfulness 依然高。这个指标只管「有没有超出上下文发挥」,不管「上下文本身对不对」。
评分参考:
| 分数 | 行动 |
|---|---|
| ≥ 0.8 | 正常,持续监控 |
| 0.6-0.8 | 加强 Prompt 约束或调低 Temperature |
| < 0.6 | 检索质量可能有问题,LLM 被迫「猜测」 |
Answer Relevancy:答案切不切题
用了一个很聪明的逆向算法:从生成的答案出发,让 LLM 反推「这个答案是在回答什么问题」,然后看反推的问题和用户原始问题有多像。
如果答案真的切题,反推的问题和原始问题应该高度相似。如果答案在讲其他的,反推的问题就会偏。
Answer Relevancy 低的常见原因:检索到的内容和问题相关但不精准,LLM 在「回答检索内容」而不是「回答用户问题」。
Answer Correctness:事实上对不对
最直接,但也…