基于顶级 Agent(Claude Code)的 Harness 工程搭建式业务 Agent 评测方案
阿里妹导读
用一个强 Agent 构建评测 Harness,系统性评测一群业务 Agent(文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。)
一、背景与问题
1.1 业务场景
某业务系统的内容生成链路由多个子 Agent 协作完成,每个 Agent 负责不同的任务(图片理解、内容审核、文案生成、风格匹配等)。这些 Agent 的 prompt 方案频繁迭代,每次变更后需要快速验证效果。
核心矛盾:业务 Agent 迭代快(天级),但传统评测工程搭建慢(周级)。
1.2 传统评测的痛点
痛点 | 表现 |
启动成本高 | 搭建评测工程、写脚本、部署服务,还没开始评就花了一周 |
人力密集 | 标注数据集、写分析脚本、出报告,每个环节都需人工介入 |
迭代慢 | prompt 改了一行,想看效果要等半天重新跑 |
可复现性差 | 评测逻辑散落在各种脚本和 Notebook 里 |
指标不统一 | 不同 Agent 各搞一套,无法横向对比 |
工程化沉重 | 每换一个 Agent 就要新写一套评测代码 |
1.3 我们的解法:Harness 工程搭建式评测
核心思路:用一个顶级 Agent(Claude Code)作为 Harness 工程的搭建者和运行者,系统性地对业务 Agent 进行评测。
什么是 "Harness 工程搭建式"?
传统做法:人写评测代码 → 跑脚本 → 看结果 → 改代码 → 再跑
Harness 式做法:顶级 Agent 搭建完整的评测骨架(harness),包括评测方案、数据集、评测逻辑(以 Agent 提示词形式表达)、分析流程。人只需提供被测对象和做关键决策。
为什么 Claude Code 是合适的 Harness 搭建者?
能力 | 在 Harness 中的作用 |
深度理解 prompt | 分析被测 Agent 的逻辑,设计针对性评测维度 |
代码生成 | 数据获取/处理脚本,评测辅助工具 |
结构化输出 | 评测方案文档、评测 Agent 提示词、评测报告 |
多轮协作 | 跨版本持续迭代(v1→v2→v3),保持上下文连贯 |
数据分析 | 对跑批结果做统计、归因、对比 |
关键洞察:评测 Harness 的本质是一套结构化的评估规则 + 执行流程。传统做法把它编码为 Python 脚本,而我们把它编码为 Agent 提示词——更灵活、更可读、更易迭代。
二、Harness 工程整体架构
2.1 三层架构
2.2 Harness 搭建五步法
2.3 与传统评测工程的类比
传统评测工程 | Harness 式评测 | 变化 |
| 评测方案 .md | 规则从配置文件变为自然语言文档 |
| 评测集 Excel(system.question) | 数据格式统一,人可直接看懂 |
| 评测 Agent 提示词(数千字) | 执行逻辑从代码变为 Prompt |
| GT 标注 + ground_truth 字段 | 预期结果内嵌在数据中 |
| CC 实时分析 | 报告生成从脚本变为交互 |
| 评测平台一键跑批 | 零部署成本 |
2.4 职责分工
角色 | 职责 | 不做什么 |
人 | GT 标注、方案审核、最终决策 | 不写评测脚本、不手动计算指标 |
Claude Code | Harness 全链路搭建 + 结果分析 | 不做批量推理主循环(交给平台) |
评测平台 | 批量执行引擎(逐行调用) | 不做方案设计和指标汇总 |
三、统一评测指标框架
3.1 三层指标体系
在评测 6 个不同类型的 Agent 后,我们沉淀了一套通用的三层指标框架:
L1:通用基础指标(所有 Agent 必报)
指标 | 含义 | 为什么重要 |
输出格式合规率 | JSON 可成功解析的比例 | 下游消费方直接报错 |
字段完整率 | 必要字段均存在的比例 | 缺字段 = 功能不可用 |
L2:按能力类型选用(从菜单中按需勾选)
能力类型 | 指标 | 适用场景 |
分类判断 | 分类准确率 | 枚举值选择(如类型判断) |
二元决策 | 召回率 / 精确率 | 过滤 / 准入决策 |
数值提取 | 精确匹配率 | 离散数值的精确提取 |
连续评分 | MAE + 分档一致率 | 内容质量打分 |
文本生成 | LLM-as-Judge 1-5 分 | 文案、描述等开放式输出 |
L3:Agent 专属指标(按需自定义)
每个 Agent 可在 L1+L2 基础上追加专有指标。例如:
●文案生成 Agent:违禁词清洁率、关键信息保留率
●风格匹配 Agent:不适用风格过滤合规率
3.2 新 Agent 接入时的指标选型流程
确定 Agent 涉及的能力类型↓从 L2 菜单勾选对应指标↓按需追加 L3 专属指标↓设定每个指标的目标阈值
四、Harness 各层的搭建方法
4.1 规则层:
评测方案设计(CC 角色:方案架构师)
输入:被测 Agent 的 prompt 文件 + 业务上下文描述
CC 输出:
●完整的评测方案文档(含维度、指标、阈值、数据集要求、错误分类体系)
●边界用例建议(CC 分析 prompt 逻辑后主动提出应覆盖的场景)
实际效果:从一个 prompt 文件到一份完整评测方案,大约 10 分钟的交互。
示例对话:
人:这是新的内容审核 Agent 的 prompt,帮我设计评测方案CC:[分析 prompt] 我建议从以下维度评测:1. 格式合规(JSON可解析 + 字段完整)2. 过滤决策(召回率/精确率)3. 评分准确性(MAE + 分档一致率)需要覆盖的边界:少量输入/全过滤/极端分数...目标阈值建议:过滤精确率≥90%,MAE≤3...人:某个维度容易低估,阈值放宽到 MAE≤5CC:好的,已更新。[输出完整方案文档]
4.2 数据层:
黄金评测集构建(CC 角色:数据工程师)
CC 做的事:
1.数据获取:编写脚本调用业务接口,批量拉取候选数据
2.数据处理:格式化为评测所需的 JSON 结构
3.GT 辅助标注:对分类型指标,CC 先给建议标注,人工复核
4.评测集打包:生成评测平台可直接消费的 Excel(含 system.question 列)
关键设计:system.question 列
每行数据都有一个system.question列,格式为 JSON,包含:
●被测 Agent 所需的全部输入字段
●ground_truth(人工标注的黄金答案)
评测 Agent 读取这一列即可获得输入和预期输出,无需额外配置。
{ "sample_id": 243, "title": "XX品牌零食合集...", "content": "最近发现了...", "items": [...], "ground_truth": { "should_filter": false, "total_score": 64, "dimension_a": 22, "dimension_b": 22, "dim…