高价率运营 AI 工作台:约定驱动与 AI 编排的评测优化实践
引言与背景
▐ 业务背景与建设目标
高价率运营是电商行业小二的日运营场景,涉及高价播报、数据分发、同款校验、价格跟进、归因、日报等长链路工作,频次高、协作链路长、规则复杂——单一行业横向每天耗时数小时,大促期间还要数倍叠加,且新人通常需要 2-3 个月才能熟练掌握全套操作。这是典型的"可标准化、可重复"工作,适合用 AI Agent 替代。
我们立项建设"高价率运营 AI 工作台",围绕目标管理、数据分发、价格跟进、日报产出 4 类可标准化事项,把人工操作沉淀为一组业务 Skill。但很快我们发现,真正的难点不在于"做出 Skill",而在于"持续保证 Skill 可用"——业务规则在迭代、上游数据接口在变、新场景层出不穷,任何一次 SKILL.md 的修改都可能让某个上线已久的 Case 突然崩掉。
▐ 为什么评测是工作台的核心问题
传统软件工程的"上线前测一下"在 LLM Agent 场景下基本失效:
没有确定的输入输出:同样一句话,不同 session、不同上下文、不同模型版本,输出可能完全不同
失败模式不可枚举:不像传统 bug 那样可以写 unit test,Agent 的"错"往往是"流程跳步""参数臆造""把内部字段直接抛给用户"这类语义错误
改一处影响一片:SKILL.md 改一行约束,可能让原本通过的 10 个 Case 中有 3 个挂掉——而你不知道是哪 3 个
我们最早的版本是"开发自己跑跑、产品看一眼觉得对就上,评测比较宽泛评测分也很高",结果是线上反馈成为唯一信号:某个 Skill 跑了一周,小二抱怨"功能又不能用了", 这功能在上线时针对某些场景就存在的bug。并且这种反馈周期以"周"计,完全不可接受。
所以工作台从一开始就把评测体系作为一等公民来建设——把"Skill 是否可用"从主观判断,变成可量化、可复跑、可对比的工程产物。本文重点讲的就是这套评测体系:它的架构、它的金标设计、它踩过的坑、以及它如何反过来驱动整个工作台的演进。
▐ 工作台的整体设计
skills/ / skill-data/ / pinchbench-suite/)固化规范,通过 Claude Code 作为编排器实现自然语言驱动的全流程自动化。整体形成三个层次:● 业务层:16 个业务 Skill,提供 Agent 能力
● 规范层:14 个通用评测维度 + 各 Skill 专项 rubric + 216 条评测用例
● 执行层:auto-evaluation(评测大脑) + pinchbench-eval(执行引擎)双引擎
▐ 约定驱动:通过目录结构固化开发规范
skills/、scripts/、constraint.md、rubric_config.json 等路径,都来自这套约定。skills//├── SKILL.md # Skill 定义(YAML frontmatter + 执行流程描述)├── scripts/ # 辅助脚本(Python/Shell)├── references/ # 参考模板和示例(可选)└── .claude/ # Skill 级别配置(可选)
SKILL.md 用 YAML frontmatter 强声明触发词等关键信息——后面 3.11 节"触发词重叠"、5.6 节"viewer 误触"两个坑都是建立在这个声明可被全局扫描的基础上:
---name: seller-broadcast-senderalias: 商家播报助手description: 创建商家高价播报任务,推送到钉钉群或创建定时播报任务triggers: - 商家播报 - 商家高价播报 - 商家比价播报---
skill-data/ # 源数据,纳入 Git├── rubrics/ # 14 个通用评测维度├── rubric_config.json # 通用指标配置├── skills//│ ├── queries.json # 评测集│ ├── rubric_config.json # Skill 专用指标(可选)│ ├── constraint.md # 专用约束(可选)│ └── examples.json # 参考样例(可选)└── scripts/sync_to_suite.py # 同步到执行目录pinchbench-suite/ # 执行环境,不进 Git├── queries.xlsx # 同步后的合并评测集├── prompts/ # 评测指标(rubric)└── outputs// ├── runs/ # Agent 执行结果 ├── scores/llm_scores/human_scores/ └── reports/ # 汇总报告(MD + HTML)
为什么坚持这个分离?3.5 节会展开讲——sync_to_suite.py 这座桥让"评测源管理"和"评测执行"彻底解耦,改 queries 不会影响正在跑的评测,跑评测产生的中间文件也不会污染源数据目录。这条约定看似只是目录划分,实际上是后面双引擎架构能跑得稳的工程前提。
▐ AI 编排:让目录约定真正"跑起来"
光有目录约定还不够——开发者每次创建 Skill 评测 都要手动 mkdir、写 frontmatter、配 rubric,约定就会逐渐被绕过(写少一两个文件、命名不规范、忘了同步)。我们的解法是把 Coding Agent 当作工作台的编排器,让自然语言成为唯一的入口,目录约定由编排器强制兑现。
一个具体例子:从一句话到一个完整 Skill 评测
用户输入:"评测商家播报 Skill"
skills/seller-broadcast-sender/SKILL.md(含 frontmatter + 触发词 + 执行流程)skills/seller-broadcast-sender/scripts/run_broadcast.py(脚本骨架)skill-data/skills/seller-broadcast-sender/constraint.md(空约束模板)skill-data/skills/seller-broadcast-sender/queries.json(空评测集模板)
关键不是"AI 帮我建文件",关键是这些文件名、字段、目录位置都不可协商——开发者不再有机会"建在另一个地方""少建一个文件"。约定从规则变成了默认且唯一的产物。
编排器覆盖的四个环节
同一个机制贯穿整个产研闭环:
自动化评测架构设计
▐ 评测架构的核心创新:把评测从"一次性快照"变成"持续联动"
整个第三章的设计可以浓缩成一句话:评测集、评测指标、Skill 定义三者不是独立产物,而是同一个飞轮的三个齿轮——任何一个动了,另两个都要跟着动,且动作能被自动化。
为什么"三者联动"是关键判断
我们最早不是这么设计的。v1 的评测集是测试同学独立写的、评分标准是产品同学口头约定的、Skill 改进靠开发同学看反馈——三者由不同角色维护,结果就是评测集追不上 Skill 演进、评分标准每个人理解不一样、改完没人验。这套用了不到一个月就停了。
现在的"三者联动"有一个隐含前提:它们必须共享同一份语义来源。我们的做法是把 SKILL.md 当作单一事实源——评测集由 LLM 读 SKILL.md 自动生成、评分指标在 SKILL.md 的约束章节里同步声明、Skill 改进的产物本身就是新版 SKILL.md。三者绑在同一份文件上,自然就同步演进。
至于这个飞轮真正能不能转出价值——5.4 / 5.5 / 5.6 给了诚实答案:中段已经稳了,但入口、出口、记忆三处还远没解。这一章讲的是"齿轮怎么咬合",第五章讲的是"咬合之后才发现真正的难点在别处"。建议两章对照着看。
▐ 评测集生成:基于真实业务数据
评测集的质量直接决定了评测的有效性。如果评测集偏离真实业务场景,即使评测分数再高,也无法保证线上效果。我们的评测集生成遵循"真实数据驱动"原则。
真实数据查询(MCP工具调用)
评测集不是凭空构造的,而是基于真实业务数据。AI会调用MCP工具查询三类数据:
员工岗位数据:员工负责的行业、商家列表,用于构造"我的高价商品查询"等场景
高价率目标数据:各行业的高价率目标及完成情况,用于构造"高价率目标查询"等场景
高价商品汇总数据:岗位级高价商品统计,包括商品ID、商家名称、价格差异等
这些数据通过MCP工具实时查询,确保了评测数据的真实性和时效性。比如,评测"商家播报"Skill时,会使用真实的商家名称、比价池配置、钉钉webhook等,而不是虚构的测试数据。
AI场景分析与Case生成
有了真实数据后,AI会分析Skill定义,识别测试场景。评测用例分为六大类:
AI会根据Skill定义中的execution_flow,为每个流程步骤至少生成1个Case。比如,"商家播报"Skill包含4个步骤:
查询播报条件
获取高价汇总
生成消息
推送钉钉群
AI会为每个步骤生成典型场景Case,同时考虑边界情况(如商家不存在、权限不足)和追问场景(如用户先说"创建播报"再补充参数)。
评测集字段协议设计
评测集采用结构化的JSON格式,包含以下字段:
reference_data字段是评测的关键,它定义了期望的执行流程、关键检查点、预期的输出格式等。比如:
{ "expected_flow": [ "查询播报条件", "获取高价汇总", "生成消息", "推送钉钉群" ], "checkpoints": [ "商家名称必须原样传递", "必须调用run_broadcast.py", "创建态必须等待用户确认" ]}这些检查点会被LLM Judge用于评分,确保评测的准确性和一致性。
▐ 评测指标体系:通用指标与专项指标
评测指标(Rubric)是评分标准,它定义了从哪些维度评估Agent的能力、每个维度的权重、什么情况判0分等。我们的指标体系包含三个层次:
维度库的沉淀过程:不是设计出来的,是踩出来的
我们在 skill-data/rubrics/ 目录下维护了 14 个通用评测维度。坦白讲,这 14 个不是一开始规划好的——最早只有 3 个(路由准确性、流程遵循、参数正确性),其他 11 个全是后来"不断优化后补进来"的。
举几个真实的来历:
name_code_distinction这个维度的诞生,是因为有次 Agent 把内部字段 code 直接显示给小二——之前 rubric 里根本没有"展示用名称、传参用编码"这条,加完之后才覆盖住 tool_compliance 是因为有 Skill 私自调了不在白名单里的内部 APIoutput_compliance是因为某个 Skill 在输出里带了 SQL 片段
这些维度共同的特点是:事先想不到,出过一次事就必须有。所以维度库的扩张节奏其实和 Skill 上线节奏强相关——每多上一批 Skill,大概率会冒出 1-2 个新维度。
4 类维度的分类逻辑
14 个维度按"约束什么"可以归成 4 类:
剩下几个(如 intent_understanding、route_accuracy_broadcast)按场景归到对应类别。完整清单和每个维度的评分规则在 skill-data/rubrics/,这里不展开列——因为列出来不会帮你做评测,理解"它们怎么来的"才会。
举一个维度文件长什么样:param_correctness
每个维度都有独立的 Markdown 文件描述评分规则。
比如 param_correctness.md 定义:
# 参数正确性## 评分规则- **1.0分**:必需参数完整,业务字段完全照搬原文传递- **0.0分**:必需参数缺失,或业务字段有任何修改## 典型违规- 商家名称加空格、改字、同义替换- 传入了不存在的参数- 参数值类型错误(如传入字符串而非数字)
通用指标配置(5个核心维度)
对于没有特殊要求的 Skill,可以使用通用指标配置(skill-data/rubric_config.json) 评估器 :
{ "rubric_name": "task_sanity", "description": "通用评测指标(适用于无专用指标的Skill)", "score_range": [0, 1], "pass_threshold": 0.7, "dimensions": [ {"file": "route_accuracy_general.md", "weight": 0.40}, {"file": "intent_understanding.md", "weight": 0.10}, {"file": "exception_handling.md", "weight": 0.10}, {"file": "performance_efficiency.md", "weight": 0.30}, {"file": "expression_clarity.md", "weight": 0.10} ]}这个配置包含5个维度,权重总和为1.0,通过阈值0.7。如果一个Skill没有特殊要求,直接使用这个通用配置即可。
专项指标定制(Skill专用约束)
对于有特殊要求的Skill,可以定制专项指标。比如,"商家播报"Skill有特殊约束:
商家名称必须原样传递(任何修改判0分)
必须等待用户确认(创建态跳过确认判0分)
只能使用Bash工具(使用MCP工具判0分)
这些约束在skill-data/skills/seller-broadcast-sender/rubric_config.json中定义:
{ "rubric_name": "task_seller_broadcast_sender", "description": "商家播报助手专用评测指标", "dimensions": [ { "file": "route_accuracy_general.md", "weight": 0.20, "judge_rule": "正确触发seller-broadcast-sender Skill,触发关键词:商家播报、商家高价播报..." }, { "file": "flow_adherence.md", "weight": 0.30, "severe_violation": true }, { "file": "param_correctness.md", "weight": 0.30, "severe_violation": true }, { "file": "performance_efficiency.md", "weight": 0.20 } ], "severe_violation_rule": "若任一severe_violation维度为0.0,则整体评分上限为这些维度的最小值"}这里的关键是severe_violation标记:如果一个严重违规维度得0分,整体评分不再按权重加权,而是取所有严重维度的最小值。这确保了核心能力的底线不被其他维度的高分稀释。
▐ 评测执行与评分
评测集和指标定义好后,进入执行阶段。评测执行包含三个关键步骤:执行Agent任务、LLM Judge评分、人工标注校验。
LLM Judge评分原理
Agent执行完成后,需要对其输出进行评分。我们采用LLM Judge机制,由Claude作为裁判,根据评测指标对输出打分。
评分流程:
读取评测指标(rubric),解析出维度定义和权重
读取Agent输出(runs/
对每个维度,LLM独立打分(0.0或1.0,禁止中间分数)
计算加权平均分:final_score = Σ(weight_i × mean_i) / Σ(weight_i)
处理严重违规:如果有severe_violation维度得0分,整体评分取严重维度的最小值
LLM Judge的关键在于"二元评分"框架:每个维度得分只能是0.0或1.0,禁止中间分数(如0.5)。这避免了LLM打分的模糊性,让评分更客观、可解释。
为什么是二元评分,而不是连续评分?
在初期方案中我们尝试过0-1连续评分(允许0.3、0.5、0.8等中间值),与最终采用的二元评分做了对照实验。在同一批30个用例上,由3个评测者(2人+1个LLM Judge)分别打分,结果如下:
二元评分的本质是"强迫评测者做出判断":要么这个维度合格,要么不合格,中间地带不存在。这带来三个工程上的好处:
可复现:同一份输出,不同时间、不同评测者打分基本一致,评测结果可信
可累计:不通过的维度必须给出"违反了哪条规则",这些理由可以累积成新的checkpoint,反哺评测集
可优化:0/1的判断结果可以直接驱动决策(改Skill还是改指标),不需要再做"0.6到底算不算合格"的二次判断
代价是:对评分规则的描述要求更高——必须能够明确划线,不能模棱两可。这反过来促使我们把每个维度的评分规则写得越来越清晰,也是评测体系自我进化的一部分。
评分提示词示例:
你是一个评测专家,请根据以下指标对Agent输出打分。## 评测维度:参数正确性- 1.0分:必需参数完整,业务字段完全照搬原文传递- 0.0分:必需参数缺失,或业务字段有任何修改## Agent输出{agent_output}## 参考数据{reference_data}## 评分请判断Agent输出是否符合参数正确性要求,只能给出0.0或1.0分,并说明理由。▐ 双引擎架构:auto-evaluation 与 pinchbench-eval
前面讲的是"评测做什么",这一节讲"评测靠什么落地"。整个评测体系不是一个工具,而是两个分工明确的引擎:auto-evaluation(评测大脑) 负责生成、蒸馏、闭环;pinchbench-eval(执行引擎) 负责跑批、评分、报告。两者通过 skill-data/ 这个共享数据层联动。
auto-evaluation:6 Phase 闭环的"评测大脑"
auto-evaluation 是一个 Coding Agent Skill,通过自然语言触发,把"评测怎么演进"这个流程拆成 6 个阶段:
闭环的关键约束有三条:最大 10 次迭代(防止无限循环)、问题识别率阈值 0.95(评分一致性低于该值不允许进入下一阶段)、AI 不能自动应用修改(所有 SKILL.md / rubric 修订都必须人工 Review 后落盘)。这三条约束保证了"自动化不等于失控"。
pinchbench-eval:可整包迁移的执行引擎
pinchbench-eval 是从评测大脑里抽离出来的纯执行引擎,目前已经迭代到 v2.29.0,核心特点是 项目无关——它不依赖高价率业务,可以整包拷贝到任何使用 Skill 体系的 Agent 项目复用。它的设计目标是把"跑评测"这件事工程化,而不是写在某个一次性脚本里。
执行引擎的职责边界很清晰:只负责"按 queries.xlsx 跑、按 rubric 评分、按 13 章骨架出报告",不负责"该跑什么、该改什么"——后者是 auto-evaluation 的职责。这种分工让两个引擎都能独立演进:auto-evaluation 关注流程编排,pinchbench-eval 关注执行性能。
两层之间的同步桥
skill-data/ 是两个引擎的共享数据层(纳入 Git),pinchbench-suite/ 是 pinchbench-eval 的运行时目录(不纳入 Git)。中间的同步靠 skill-data/scripts/sync_to_suite.py:
把分散在
skill-data/skills/的评测集合并成pinchbench-suite/queries.xlsx把各 Skill 的
rubric_config.json组装成pinchbench-suite/prompts/task_把通用维度从
rubrics/拷到执行目录,供 LLM Judge 使用
这个同步桥让"评测数据的源管理"和"评测的执行环境"彻底解耦——开发同学在 skill-data/ 里改 queries 和 rubric,不会影响正在执行的评测;评测执行产生的 outputs 也不会污染源数据目录。
执行引擎已当前提供 6 种运行模式(全量/单Case/断点续跑/标注/浏览/编辑),支持并发流水线、ETA 心跳和 HTML分享。这些都是让评测能从'开发自己跑跑'变成'团队都能用'的工程基建。
▐ 评测报告与对比分析
评测完成后生成 13 章 Markdown 报告(经 md_to_html.py --serve 转自包含 HTML 可分享),按"快速看整体 / 定位具体问题 / 诊断评分系统本身 / 支撑优化决策 / 成本与对照"分区,让不同角色直奔自己要看的那块。
整套报告设计上最重要的一节是 五 "Auto 评分和 LLM 评分差距 ≥0.2 的 Case单独列出"——这是评测系统的自检通道:Auto 是规则评分,LLM 是语义评分,两者大幅分歧的 Case几乎都对应"评测标准本身有歧义",是 rubric迭代最值钱的输入。其他章节是给不同角色看分数,这一章是评测系统在反过来检查自己。
报告还会自动做新旧版本对比(总分差 + 各维度趋势)和低分根因聚类(路由错误 / 流程跳步 / 参数错误 /性能低),为 Phase 4/5 的指标蒸馏 / Skill蒸馏提供原料。具体表头和样例不展开——它们是工具产物,不是文章要讲的设计。
▐ 评测集的"金标"设计
评测集的灵魂是 reference_data 字段——它定义了"什么是对的"。这个字段怎么设计,直接决定了 LLM Judge 能不能给出靠谱的评分。
reference_data 的真实结构
我们在实践中沉淀出一组半结构化的字段约定(没有强 Schema,各 Skill 在 constraint.md 里自行约定),抽样几个真实 Skill 的 reference_data 示例:
// query-high-price-rate (商品维度查询){ "param_type": "item_id", "expected_flow": ["岗位校验","参数识别","获取比价任务","用户选择任务","执行商品维度查询"], "expected_task_count": 2, "expected_output": "item_format", "canQueryTasks": ["2024_国补..._竞对全平台同店", "1972_国补..."], "followup_expectation": "Agent 展示多个比价任务让用户选择..."}// follow-price-progress (跟价进展){ "expected_flow": ["岗位校验","参数解析","调用跟价进展接口"], "expected_parameter": {"sellerName": "逸阳旗舰店"}, "expected_output": { "sections": ["进展概览","明细列表"], "format_requirements": ["必须用表格","商家名展示中文"] }}可以看到几个共性字段:expected_flow(期望执行步骤)、expected_(关键参数)、expected_output(输出结构)、canQueryTasks/expected_task_count(可枚举的合法选项)。这些字段都是给 LLM Judge 读的,不是给代码做 assertion 的。
金标设计的踩坑教训
reference_data 这个字段我们前后改了 5 个版本,每一版的修改都源于一次"评测看起来对、但其实不对"的事故。这里挑 4 个最值得说的坑。
坑一 : 被测 Agent 看到了金标——已完成隔离
最早的坑是信息泄漏:reference_data 一开始是直接拼在被测 Agent 调用上下文的同一份 prompt 里的(那时候 evaluator 和 runner 没拆干净)。结果 review 评测结果时发现一个匪夷所思的现象——某个 Skill 在所有 Case 上都给出了"和 reference_data 完全一致"的输出,包括 Agent 不可能知道的内部商家 ID。
复盘后才意识到:Agent 的对话上下文里意外混进了金标,等于"开卷考试"。这一版评测的所有分数全部作废。
应对(已完成):把 reference_data 在执行链路里严格隔离到 LLM Judge 一侧——
pinchbench-eval 的 runner 调用 Agent 时,只传
prompt字段,reference_data完全不进入被测 Agent 的上下文LLM Judge 在评分阶段才从
runs/加载reference_data,且只用于评分推理在
evaluator.py里把"runner 输入"和"judge 输入"做成两个独立的 dataclass,类型上就不允许混用——这一步是真正解决问题的关键,文字提醒永远是兜不住的
这个隔离做完之后,"自评成功"这一类幻觉评分就彻底消失了。这条经验我们最大的收获是:LLM 系统里的"信息隔离"必须做到类型层面,不能靠 prompt 里写"请不要看 X"——LLM 不会真的不看。
坑二 : expected_flow 列得太细,导致"流程对了但分数低"
第二版评测我们对 expected_flow 写得过细,把每个内部函数调用都列了进去,比如:["参数校验", "查岗位权限", "拉取商家配置", "查比价池", "调价格 API", "格式化输出"]——总共 6 步。
结果有大量 Case 的 flow_adherence 维度被判 0 分。深入看才发现,Agent 实际上走对了流程,但它把"参数校验"和"查岗位权限"合并成一次工具调用,导致 LLM Judge 数下来"少了一步",直接判违反流程。
应对:粗化 expected_flow,只保留"语义大阶段"
把预期步骤从 6 步合并成 4 个语义大阶段:
原细粒度:参数校验 → 查岗位权限 → 拉取商家配置 → 查比价池 → 调价格 API → 格式化输出
粗粒度:前置校验(含参数 + 权限)→ 拉取配置与比价数据 → 调用价格接口 → 格式化输出
LLM Judge 只校验大阶段顺序,不卡死内部是否合并。同时在 rubric里加一句"允许步骤合并,只要业务语义等价"。这条规则现在写进了 flow_adherence.md的评分规则里——金标的粒度匹配,比金标的完整性更重要。
坑三:reference_data 用 LLM 自动生成,被"答案污染"了
为了加快 Case 入库,我们试过让 LLM 直接根据 Skill 定义自动生成 reference_data。看起来很省事——直到一次评测后做人工抽查,发现 LLM 生成的 expected_output 和 Agent 实际输出几乎一模一样,包括同样的错别字、同样的格式 bug。
原因不复杂:LLM 在生成金标时,用的就是同一个 Agent 跑出来的输出当参考。等于"让 Agent 自己出题、自己批卷"。这一类 Case 在评测里无论 Agent 怎么跑都得满分,评测信号完全失效。
应对:LLM 自动生成的 reference_data 必须人工过一遍才能入库(已经在 5.1 节"当前状态"里提过)。同时给 Phase 1 加了一条硬规则:生成金标时,LLM 不能引用任何已存在的 Agent 实际输出作为参考——只能基于 SKILL.md 的定义和真实业务数据推导。
坑四:多轮 Case 的金标只覆盖了"最后一轮"
追问场景的 Case 是多轮对话——用户问 → Agent 答 → 用户追问 → Agent 再答,可能持续 5-10轮。早期版本我们的 reference_data 只描述了"最后一轮 Agent 应该输出什么",对中间轮次没约束。
结果出现一类很隐蔽的问题:Agent在中间轮次反复无效追问、绕圈子、甚至偏离用户原始意图,但只要最后一轮把答案凑对了,LLM Judge就判通过。典型表现:用户第 1 轮已经给了商家名,Agent 在第 2-4 轮反复追问"请问商家是?",到第 5轮才回到正轨给出结果——线上小二早就放弃了,但评测分数满分。
应对:reference_data 增加 followup_expectation字段,描述"每一轮应该保持哪些上下文、不应该出现哪些无效追问、轮次上限是多少"。同时把 LLM Judge的 prompt 改成逐轮独立打分,再聚合——任何一轮出现"重复追问已知信息"或"偏离原始意图",该 Case 整体降级,而不是只看最后一轮的输出。
4 个坑的共同点
回头看,这 4 个坑——信息泄漏、粒度过细、答案污染、多轮覆盖——没有一个是"金标内容写错了",全是"金标的工程结构没设计对"。金标的内容可以靠业务理解打磨,但金标的结构问题(谁能看到、什么粒度、谁来生成、覆盖到哪)只能靠真实事故才暴露。
这也是为什么我们在 SKILL.md 里把"reference_data 设计规范"独立成一节——比起教别人怎么写金标,更重要的是告诉别人金标系统设计上必须躲开哪些坑。
▐ LLM Judge 评分 prompt 的真实结构
LLM Judge 不是黑盒——它的输入(prompt)、输出(score JSON)、调用方式都可以拆开看。这一节剖析真实的 prompt 结构。
prompt 6 段式结构
pinchbench-suite/prompts/task_ 是 LLM Judge 的入口 prompt,采用 6 段式结构:
1. YAML frontmatter - rubric_name、score_range: [0, 1]、pass_threshold: 0.7 - dimensions 列表(name/label/weight/description/severe_violation) ⚠️ frontmatter 在喂给 LLM 之前会被剥掉,只供人工标注页 schema 使用2. 维度逐一展开(每个 rubric 维度独立 §小节) - 1.0 / 0.0 的判定条件 - 通用检查点表 - 典型违规示例表 - Skill 专属判定规则3. 评估输入占位符 - {user_instruction}、{assistant_output}、{reference_data} - 渲染时由 _build_variables 替换4. 输出 schema(JSON) - {"scores": {: 0.0|1.0}, "mean": , "reasoning": ..., "token_usage": {...}}5. 计算规则(显式公式) - mean = route_accuracy*0.15 + param_correctness*0.2 + ... - severe_violation 钳制规则:若任一严重维度 0.0, 则 mean 取严重维度最小值,不按权重计算6. 框架接入说明 - 用 Write 工具保存 JSON 到 {{OUTPUT_PATH}}第 6 段是关键的工程设计:让 LLM 自己用 Write 工具把评分写到文件,而不是返回字符串等框架解析。这避免了"LLM 输出多了一段废话导致 JSON 解析失败"的常见坑——文件写出来就是文件,框架直接读。
LLM Judge 漂移防护——目前几乎没有
直白讲:LLM Judge 对自己的评分一致性,目前没有专门的代码层防护。
没看到固定 seed
没看到固定 temperature(
config.json只配置了超时和重试)retry.judge是失败重试,不是分数差异时复评唯一的兜底是 Phase 4 的人工标注 + REPORT的"人工 v…