如何评估你写的 SKILL.md 质量?一套完整的 Eval 方法论
写完一个 Skill 之后,怎么知道它好不好用?靠感觉?靠运气?
不行。得有系统的评估方法。
为什么需要评估
Skill 的价值在于被重复使用。你和用户在开发时只能测试几个例子,但真正上线后可能被调用成千上万次。如果只在开发时的几个例子上"跑得通",但换个场景就翻车,那这个 Skill 就是废的。
所以评估的核心目标是:确保 Skill 的泛化能力,而不是在特定例子上过拟合。
评估的三个维度
1. 触发准确率(Trigger Accuracy)
Skill 的 description 字段决定了 Claude 什么时候会调用它。评估触发率需要准备两类测试用例:
应该触发的(should_trigger: true)
覆盖不同的表达方式:正式的、口语的、简略的 用户没有明确提到 Skill 名称但明显需要它的场景 边缘用例和非典型场景
不应该触发的(should_trigger: false)
关键词相似但实际需求不同的场景 与其他 Skill 有竞争关系但应该让给对方的场景 表面相关但实际不需要这个 Skill 的情况
关键是:不要写太明显的负例。"写个斐波那契函数"作为 PDF Skill 的负例没有任何测试价值,因为太明显了。好的负例应该是"差一点就该触发"的那种。
2. 输出质量(Output Quality)
分为定量和定性两种评估:
定量评估(Assertions)
输出文件是否存在 格式是否正确 关键字段是否包含 数值是否在预期范围内
这些可以用脚本自动检查,结果是 pass/fail,没有主观性。
定性评估(Human Review)
内容是否符合预期 风格是否合适 细节是否到位
这需要人来看,因为很多东西没法量化。比如"写作风格是否自然"——你没法写一个断言来检查这个。
3. 效率指标(Efficiency Metrics)
- Token 消耗:Skill 让模型多用了还是少用了 token?
- 执行时间:完成任务需要多久?
- 步骤数量:模型是不是在做无用功?
这些指标帮你发现 Skill 中拖后腿的部分。如果模型每次都花大量时间做同一件事,说明这部分应该被抽成脚本。
评估流程
Step 1: 准备测试用例
写 2-3 个真实的用户 prompt,不是抽象的"处理数据",而是具体的:
“ "我老板发了个 xlsx 文件(在我下载文件夹里,叫 'Q4 sales final FINAL v2.xlsx'),她要我加一列显示利润率百分比。收入在 C 列,成本在 D 列"
这种带上下文、有细节、甚至有错别字的 prompt 才是真实场景。
Step 2: 跑对照实验
每个测试用例要跑两个版本:
- 有 Skill :正常使用 Skill
- 基线版:没有 Skill / 旧版 Skill
这样才能知道 Skill 到底带来了什么改进。
Step 3: 收集反馈
让用户看输出结果,给反馈。空反馈 = 满意,有文字 = 有问题。
重点关注有具体抱怨的用例,而不是试图让所有用例都完美。
Step 4: 迭代改进
根据反馈改 Skill,但要注意:
泛化而不是过拟合。如果用户说"这个图表没有坐标轴标签",不要加一条"必须给图表加坐标轴标签"的硬规则。要理解为什么会漏掉,从根本上解决问题。
解释 Why 而不是堆 MUST。当你发现自己在写"ALWAYS"和"NEVER"的时候,停下来想想能不能换个方式解释清楚背后的原因。模型很聪明,给它理由比给它命令更有效。
保持精简。看 transcript,如果模型在某个步骤上浪费时间,考虑删掉那部分指令。
常见的评估陷阱
陷阱 1: 测试用例太简单
"读取这个 PDF"这种 prompt 不会触发 Skill,因为 Claude 可以直接用基础工具处理。要测试复杂的、多步骤的、专业化的任务。
陷阱 2: 只看成功的用例
失败的用例才是改进的方向。如果所有测试都通过了,要么是测试太简单,要么是覆盖不够。
陷阱 3: 断言没有区分度
如果一个断言不管有没有 Skill 都能通过,那它没有任何测试价值。好的断言应该能区分出 Skill 带来的改进。
陷阱 4: 忽视方差
同一个 prompt 跑多次,结果可能不一样。高方差意味着 Skill 不稳定,需要排查原因。
工具推荐
如果你在用 Claude Code 或 Cowork,可以用 skill-creator 自带的评估工具:
aggregate_benchmark 脚本:自动聚合评估结果generate_review.py:生成可视化的评估界面run_loop.py:自动化优化 description 的触发率
如果在 claude.ai 上,就手动跑测试用例,直接在对话里收集反馈。
实战案例:如何评估量化策略构建 Skill
讲完通用方法,来看一个具体例子:Strategy Builder Skill——一个把模糊的投资想法转化为可执行量化策略的 Skill。
这个 Skill 的特殊之处在于:它的输出不是文档或代码那么简单,而是一整套交互流程 + 最终的策略配置 + 可执行代码。评估起来比一般 Skill 复杂得多。
评估维度 1: 触发准确率
应该触发的用例:
[
{\"query\": \"我想买 AXTI, IQE, L…