FDE 企业 AI 落地与交付 · 知识检索与问答问题 · 2026-07-17

RAG 怎么评估呢?RAG 评估体系5 个指标让你的知识库从「盲飞」到「可量化」

RAG系统告别“感觉不错”,5个指标实现量化评估,让知识库从盲飞到精准可控。

核心内容:

  1. RAG系统“盲飞”的四大根本原因与评估挑战
  2. 从检索、生成到答案的三维度评估框架
  3. 5个核心指标(如Context Precision、Faithfulness)的算法级拆解

70% 的 RAG 系统缺乏评估体系。这意味着大多数知识库,在以「感觉还不错」为唯一质量标准运行。

换句话说:你不知道它什么时候开始答错,你也不知道那个分块参数改动悄悄让召回率跌了 15%。

这篇要解决一个具体问题:RAG 系统搭好了,怎么知道它好不好——用数字说话,而不是用感觉。


为什么「感觉还不错」是最危险的状态

传统后端系统出问题你知道——日志报错、指标飘红、用户投诉轰炸。

RAG 系统的问题不一样。它不报错,只给出「听起来合理但可能是错的」答案。

你改了分块参数,没有触发任何告警。你更新了 Embedding 模型,没有自动回归测试。三个月后,某个用户问了一个以前一直能答对的问题,得到了一个错误答案——你不知道这个问题从什么时候开始退化的,也不知道为什么。

这就是「盲飞」:系统在跑,但方向不明。

RAG 评估难,有四个根本原因:

1. 正确答案不唯一。 「公司的退款政策是什么」,可以有十种表达方式都算对。传统的 n-gram 相似度(BLEU/ROUGE)天生不适合这类问题——措辞不同但语义相同的答案会被打低分,而一个措辞高度相似的幻觉答案可能得高分。

2. 评估本身需要「理解」。 判断一个答案有没有忠实于检索内容,不能靠字符串比对,需要语义理解。这意味着评估本身要依赖 LLM,带来额外成本和偏差。

3. 检索和生成耦合。 答案不好,是检索没找到正确文档?还是找到了但 LLM 没用对?没有分阶段的评估,你只能猜。

4. 没有标准测试集。 传统 ML 有标注好的 benchmark。RAG 需要你自己建 (问题, 标准答案, 上下文) 三元组,成本高,质量难保证。

这四个问题,RAGAS 框架都给出了可用的工程解法。


三维度评估:从「能答」到「可信」到「切题」

评估 RAG,要覆盖三个层次——只看最终答案,你永远定位不到问题出在哪一层。

第一层:检索质量 找到正确的内容了吗? → Context Precision(检索到的内容有多少是有用的) → Context Recall(需要的内容有多少被检索到了)第二层:生成忠实性 有没有基于检索内容诚实作答? → Faithfulness(回答里有多少是有上下文支撑的)第三层:答案质量 答案有没有真正回答问题? → Answer Relevancy(切题程度) → Answer Correctness(事实正确性,需要 ground truth)

这五个指标,缺任何一个,评估都是残缺的。


5 个核心指标,算法级拆解

Context Precision:检索噪声有多少

不只是「检索到的内容有没有用」,还考虑排名——相关内容越靠前,得分越高。

算法是带位置权重的平均精确率(AP):

AP = Σ (Precision@k × is_relevant@k) / total_relevant

举例:检索了 5 个 chunk,相关性判断是 [✓, ✗, ✓, ✗, ✓]

这个设计和 LLM 的实际行为吻合:研究表明相关内容放上下文开头,LLM 的利用率更高。Context Precision 低,通常意味着 Reranker 效果差,或分块太大把无关内容混进来了。

Context Recall:关键信息有没有漏掉

算法直接:把标准答案拆成原子陈述,逐条检查检索上下文是否能支撑它。

Recall = 有上下文支撑的陈述数 / 标准答案总陈述数

标准答案有 4 条陈述,检索内容支撑了 3 条 → Recall = 0.75。

Recall 低,说明关键信息没被捞出来——top-K 太小、分块切断了关键信息,或 Embedding 模型对该领域语义理解不好。

Precision 和 Recall 的组合诊断:

症状 意味着 先做什么
Precision 高 + Recall 低 找到的质量好,但覆盖不全 适当调大 top-K
Precision 低 + Recall 高 覆盖全了,但带了太多噪声 加 Reranker 或改分块
两个都低 检索架构有问题 先查语料质量

Faithfulness:有没有在「脑补」

这个指标专门测幻觉。

算法:把生成答案拆成原子陈述,逐条检查每条陈述是否有检索上下文的支撑。

Faithfulness = 有上下文支撑的陈述数 / 答案总陈述数

一个容易踩的坑:Faithfulness = 0.95 不代表系统可信。如果知识库里的文档本身是错的,LLM 忠实地传递了错误内容,Faithfulness 依然高。这个指标只管「有没有超出上下文发挥」,不管「上下文本身对不对」。

评分参考:

分数 行动
≥ 0.8 正常,持续监控
0.6-0.8 加强 Prompt 约束或调低 Temperature
< 0.6 检索质量可能有问题,LLM 被迫「猜测」

Answer Relevancy:答案切不切题

用了一个很聪明的逆向算法:从生成的答案出发,让 LLM 反推「这个答案是在回答什么问题」,然后看反推的问题和用户原始问题有多像。

如果答案真的切题,反推的问题和原始问题应该高度相似。如果答案在讲其他的,反推的问题就会偏。

Answer Relevancy 低的常见原因:检索到的内容和问题相关但不精准,LLM 在「回答检索内容」而不是「回答用户问题」。

Answer Correctness:事实上对不对

最直接,但也…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/RAG/2026071784759.html