基于顶级 Agent(Claude Code)的 Harness 工程搭建式业务 Agent 评测方案

阿里妹导读


用一个强 Agent 构建评测 Harness,系统性评测一群业务 Agent(文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。)

一、背景与问题

1.1 业务场景

某业务系统的内容生成链路由多个子 Agent 协作完成,每个 Agent 负责不同的任务(图片理解、内容审核、文案生成、风格匹配等)。这些 Agent 的 prompt 方案频繁迭代,每次变更后需要快速验证效果。

核心矛盾:业务 Agent 迭代快(天级),但传统评测工程搭建慢(周级)。

1.2 传统评测的痛点

痛点

表现

启动成本高

搭建评测工程、写脚本、部署服务,还没开始评就花了一周

人力密集

标注数据集、写分析脚本、出报告,每个环节都需人工介入

迭代慢

prompt 改了一行,想看效果要等半天重新跑

可复现性差

评测逻辑散落在各种脚本和 Notebook 里

指标不统一

不同 Agent 各搞一套,无法横向对比

工程化沉重

每换一个 Agent 就要新写一套评测代码

1.3 我们的解法:Harness 工程搭建式评测

核心思路:用一个顶级 Agent(Claude Code)作为 Harness 工程的搭建者和运行者,系统性地对业务 Agent 进行评测。

什么是 "Harness 工程搭建式"?

传统做法:人写评测代码 → 跑脚本 → 看结果 → 改代码 → 再跑

Harness 式做法:顶级 Agent 搭建完整的评测骨架(harness),包括评测方案、数据集、评测逻辑(以 Agent 提示词形式表达)、分析流程。人只需提供被测对象和做关键决策。

为什么 Claude Code 是合适的 Harness 搭建者?

能力

在 Harness 中的作用

深度理解 prompt

分析被测 Agent 的逻辑,设计针对性评测维度

代码生成

数据获取/处理脚本,评测辅助工具

结构化输出

评测方案文档、评测 Agent 提示词、评测报告

多轮协作

跨版本持续迭代(v1→v2→v3),保持上下文连贯

数据分析

对跑批结果做统计、归因、对比

关键洞察:评测 Harness 的本质是一套结构化的评估规则 + 执行流程。传统做法把它编码为 Python 脚本,而我们把它编码为 Agent 提示词——更灵活、更可读、更易迭代。

二、Harness 工程整体架构

2.1 三层架构

2.2 Harness 搭建五步法

2.3 与传统评测工程的类比

传统评测工程

Harness 式评测

变化

test_config.yaml

评测方案 .md

规则从配置文件变为自然语言文档

test_data.json

评测集 Excel(system.question)

数据格式统一,人可直接看懂

test_runner.py(数百行)

评测 Agent 提示词(数千字)

执行逻辑从代码变为 Prompt

conftest.py + fixtures

GT 标注 + ground_truth 字段

预期结果内嵌在数据中

report_generator.py

CC 实时分析

报告生成从脚本变为交互

requirements.txt + CI

评测平台一键跑批

零部署成本

2.4 职责分工

角色

职责

不做什么

人

GT 标注、方案审核、最终决策

不写评测脚本、不手动计算指标

Claude Code

Harness 全链路搭建 + 结果分析

不做批量推理主循环(交给平台)

评测平台

批量执行引擎(逐行调用)

不做方案设计和指标汇总

三、统一评测指标框架

3.1 三层指标体系

在评测 6 个不同类型的 Agent 后,我们沉淀了一套通用的三层指标框架:

L1:通用基础指标(所有 Agent 必报)

指标

含义

为什么重要

输出格式合规率

JSON 可成功解析的比例

下游消费方直接报错

字段完整率

必要字段均存在的比例

缺字段 = 功能不可用

L2:按能力类型选用(从菜单中按需勾选)

能力类型

指标

适用场景

分类判断

分类准确率

枚举值选择(如类型判断)

二元决策

召回率 / 精确率

过滤 / 准入决策

数值提取

精确匹配率

离散数值的精确提取

连续评分

MAE + 分档一致率

内容质量打分

文本生成

LLM-as-Judge 1-5 分

文案、描述等开放式输出

L3:Agent 专属指标(按需自定义)

每个 Agent 可在 L1+L2 基础上追加专有指标。例如:

●文案生成 Agent:违禁词清洁率、关键信息保留率

●风格匹配 Agent:不适用风格过滤合规率

3.2 新 Agent 接入时的指标选型流程

确定 Agent 涉及的能力类型↓从 L2 菜单勾选对应指标↓按需追加 L3 专属指标↓设定每个指标的目标阈值

四、Harness 各层的搭建方法

4.1 规则层:
评测方案设计(CC 角色:方案架构师)

输入:被测 Agent 的 prompt 文件 + 业务上下文描述

CC 输出:

●完整的评测方案文档(含维度、指标、阈值、数据集要求、错误分类体系)

●边界用例建议(CC 分析 prompt 逻辑后主动提出应覆盖的场景)

实际效果:从一个 prompt 文件到一份完整评测方案,大约 10 分钟的交互。

示例对话:

人:这是新的内容审核 Agent 的 prompt,帮我设计评测方案CC:[分析 prompt] 我建议从以下维度评测:1. 格式合规(JSON可解析 + 字段完整)2. 过滤决策(召回率/精确率)3. 评分准确性(MAE + 分档一致率)需要覆盖的边界:少量输入/全过滤/极端分数...目标阈值建议:过滤精确率≥90%,MAE≤3...人:某个维度容易低估,阈值放宽到 MAE≤5CC:好的,已更新。[输出完整方案文档]

4.2 数据层:
黄金评测集构建(CC 角色:数据工程师)

CC 做的事:

1.数据获取:编写脚本调用业务接口,批量拉取候选数据

2.数据处理:格式化为评测所需的 JSON 结构

3.GT 辅助标注:对分类型指标,CC 先给建议标注,人工复核

4.评测集打包:生成评测平台可直接消费的 Excel(含 system.question 列)

关键设计:system.question 列

每行数据都有一个system.question列,格式为 JSON,包含:

●被测 Agent 所需的全部输入字段

●ground_truth(人工标注的黄金答案)

评测 Agent 读取这一列即可获得输入和预期输出,无需额外配置。

{  "sample_id": 243,  "title": "XX品牌零食合集...",  "content": "最近发现了...",  "items": [...],  "ground_truth": {    "should_filter": false,    "total_score": 64,    "dimension_a": 22,    "dimension_b": 22,    "dim…
— 以上为试看内容(约 40%),开通会员后阅读全文 —