使用 LangSmith 进行 RAG 评估:构建生产级 RAG 系统的 AI 开发者指南

 

如何通过真实的代码和诚实的权衡来衡量 RAG 流程中真正重要的因素。

你构建了一个 RAG 应用。

它能够检索文档,将它们发送给 LLM,然后返回答案。

你手动测试了几个问题,效果看起来不错。

于是你上线了。

三周之后,用户开始反馈答案错误。

你深入排查,发现 Retriever 在某些查询类型下一直获取了不相关的 chunks。

LLM 则一直在生成一些听起来合理、但实际上没有任何检索上下文支持的幻觉信息。

没有评估层(evaluation layer)。

没有可见性(visibility)。

没有预警。

我知道评估很无聊,但它正是区分顶级 AI 工程师和只是在构建原型的人之间的关键因素。

本指南将通过一个包含代码的具体工作流程,介绍如何解决这个问题。

为什么 RAG 评估比看起来更困难

评估一个标准的 ML 分类器是比较直接的。

你有标签(labels)、预测结果(predictions),以及像 accuracy 或 F1 这样的指标。

真实答案(ground truth)是明确且固定的。

RAG 评估更加复杂,主要有三个原因:

输出是开放式的。
对于大多数问题,不存在唯一正确答案。两个不同的正确答案,在字符串形式上可能完全不同,因此简单的字符串比较会立即失效。

存在两种失败模式,而不是一种。
你的 RAG 系统可能在检索阶段失败(获取了错误的文档),也可能在生成阶段失败(即使获取了正确文档,仍然生成错误答案)。

你需要分别衡量这两个部分,否则你无法判断应该修复哪个组件。

没有参考依据时,幻觉是不可见的。
LLM 可以生成一个自信、表达良好的答案,但这个答案可能完全违背检索到的文档。

如果没有明确的 groundedness(基于事实依据程度)检查,这种失败是无法被发现的。

传统指标,例如 BLEU 和 ROUGE,是为机器翻译设计的。

它们衡量的是表层字符串重叠程度。

一个语义正确、但使用了不同表达方式的 RAG 答案,如果与参考答案的措辞不同,也会得到较低的评分。

它们并不是适合这个任务的工具。

实际需要评估什么

一个 RAG 系统包含两个组件:Retriever 和 Generator。

一个完整的评估框架需要覆盖这两个部分。

可以把每一次评估看作一个元组:评估的对象是什么,以及它与什么进行比较。

四个指标中,有三个完全不需要参考答案。

这一点在实际应用中非常重要。

为大型数据集收集真实答案(ground truth)成本很高。

那些只需要问题、检索到的 chunks,以及生成答案的评估方式,可以持续运行在生产流量上,而不需要任何人工标注。

可视化架构:每个指标位于哪里

理解每个指标应该应用于 pipeline 中的哪个位置,是理解整个体系的关键思维模型。

下面是 RAG pipeline,以及每个 evaluator(评估器)触发的位置:

诊断矩阵

当评估分数返回后,在修改任何内容之前,使用这个矩阵来定位根本原因:

LangSmith 评估流程

LangSmith 是完成这项工作的一个工具,但不是唯一选择。

RAGAS 也实现了相同概念的指标(faithfulness、answer relevance、context precision、context recall),只是使用了不同的 API。

无论你使用哪种工具,本文中的方法论都适用。

整个流程包含三个步骤:

  1. 1. 构建一个包含问题以及可选参考答案的数据集
  2. 2. 使用该数据集运行你的 RAG 应用
  3. 3. 使用 evaluator 函数对每个输出进行评分

每当你对应用进行修改时,都应该执行评估。

在上线之前运行它。

针对生产环境中的 traces 运行它。

每次修改 prompt 后运行它。

评估实践本身就是这个循环,而不是某一次单独的执行。

步骤一:备你的 RAG 应用

本文不是关于如何构建 RAG 应用的。

它假设你已经拥有一个 RAG 应用。

对于评估来说,重要的是你的应用需要满足两个契约(contracts)。

契约 1:它必须支持追踪(traceable)。

添加 LangSmith 的 @traceable(),这样每一次调用都会被记录,包括完整的 prompt、检索到的文档,以及生成的答案。

契约 2:它必须在返回答案的同时返回文档。

四个评估器(evaluators)中,有三个需要的是检索到的 chunks,而不仅仅是最终答案。

from langsmith import traceable  
  
@traceable()  

def
 rag_bot(question: str) -> dict:  
docs = retriever.invoke(question)  
answer = llm.invoke(build_prompt(question, docs))  
# Return BOTH - evaluators need the documents  

return
 {"answer": answer, "documents": docs}

这就是唯一的配置要求。

Retriever、向量存储(vector store)以及 LLM 的具体实现细节,评估器(evaluators)并不关心。

步骤二:构建评估数据集

你的评估效果取决于你的数据集质量。

一个最小的数据条目,需要将一个问题与一个参考答案(reference answer)配对:

from langsmith import Client

client = Client()  
examples = [  
{  
"inputs"
: {"question": "How does the ReAct agent use self-reflection?"},  
"outputs"
: {"answer": "ReAct integrates reasoning and acting, using tools and then observing the outputs to reason about next steps."},  
},  
# Add more examples...  

]  
dataset = client.create_dataset("RAG Evaluation Dataset")  
client.create_examples(dataset_id=dataset.id, examples=examples)

inputs 这个 key 保存的是你的 RAG 函数所需要的输入内容,在这里就是一个问题。

outputs 这个 key 保存的是你手动编写的参考答案。

在评估时,LangSmith 会将 inputs 传递给你的函数,然后将函数返回结果与 outputs(你的参考答案)一起传递给 correctness evaluator(正确性评估器),这样它就可以对两者进行比较。

一些看起来简单,但实际上非常重要的事项:

  • • 使用真实用户查询,而不是你自己编写的问题。
      自己编写的问题通常更加干净、结构完整。而真实查询会暴露歧义、拼写错误,以及你的 Retriever 难以处理的意图不匹配问题。
  • • 至少准备 20–50 个示例。
      少于 20 个时,一次异常运行就可能让整体评分产生偏差,而这种偏差在统计意义上并不可靠。
  • • 参考答案只用于正确性评估(correctness)。
      另外三个评估器不需要 ground truth(真实答案)。你可以持续在生产环境中的实时 traces 上运行它们。

步骤三:四个评估器

每个评估器都遵循相同的模式:

一个 TypedDict schema,一个评分 prompt,以及一个接收 inputs/outputs 并返回分数的函数。

其中的关键设计决策,对所有评估器都同样适用。

所有 grader LLM 都使用 temperature=0。

确定性的评分(Deterministic scoring)是不可妥协的。

同一个答案必须在每次运行中获得相同的分数,否则你的实验比较就失去了意义。

使用结构化输出(structured output)。

它会强制模型直接返回符合类型定义的 schema。

不需要字符串解析,不需要正则表达式,也不会因为模型输出了“是的,看起来正确”(“Yes, it looks correct”)而不是一个布尔值,导致评估失败。

将 explanation 字段放在 score 字段之前。

这会迫使模型在给出最终判断之前先进行推理。

在答案之前进行思考,有助于提升评判模型(judge)的准确性。

正确性:响应 vs 真实答案

这是唯一一个需要参考答案(reference answer)的评估器。

其他所有评估器都可以在没有标注数据(labeled data)的情况下运行。

from typing_extensions import Annotated, TypedDict  
from
 langchain_openai import ChatOpenAI

class
 CorrectnessGrade(TypedDict):  
explanation: Annotated[str, ..., "Reasoning for the score"]  
corr…
— 以上为试看内容(约 40%),开通会员后阅读全文 —