如何评估你写的 SKILL.md 质量?一套完整的 Eval 方法论


写完一个 Skill 之后,怎么知道它好不好用?靠感觉?靠运气?

不行。得有系统的评估方法。

为什么需要评估

Skill 的价值在于被重复使用。你和用户在开发时只能测试几个例子,但真正上线后可能被调用成千上万次。如果只在开发时的几个例子上"跑得通",但换个场景就翻车,那这个 Skill 就是废的。

所以评估的核心目标是:确保 Skill 的泛化能力,而不是在特定例子上过拟合。

评估的三个维度


1. 触发准确率(Trigger Accuracy)

Skill 的 description 字段决定了 Claude 什么时候会调用它。评估触发率需要准备两类测试用例:

应该触发的(should_trigger: true)

  • 覆盖不同的表达方式:正式的、口语的、简略的
  • 用户没有明确提到 Skill 名称但明显需要它的场景
  • 边缘用例和非典型场景

不应该触发的(should_trigger: false)

  • 关键词相似但实际需求不同的场景
  • 与其他 Skill 有竞争关系但应该让给对方的场景
  • 表面相关但实际不需要这个 Skill 的情况

关键是:不要写太明显的负例。"写个斐波那契函数"作为 PDF Skill 的负例没有任何测试价值,因为太明显了。好的负例应该是"差一点就该触发"的那种。


2. 输出质量(Output Quality)

分为定量和定性两种评估:

定量评估(Assertions)

  • 输出文件是否存在
  • 格式是否正确
  • 关键字段是否包含
  • 数值是否在预期范围内

这些可以用脚本自动检查,结果是 pass/fail,没有主观性。

定性评估(Human Review)

  • 内容是否符合预期
  • 风格是否合适
  • 细节是否到位

这需要人来看,因为很多东西没法量化。比如"写作风格是否自然"——你没法写一个断言来检查这个。


3. 效率指标(Efficiency Metrics)

  • Token 消耗:Skill 让模型多用了还是少用了 token?
  • 执行时间:完成任务需要多久?
  • 步骤数量:模型是不是在做无用功?

这些指标帮你发现 Skill 中拖后腿的部分。如果模型每次都花大量时间做同一件事,说明这部分应该被抽成脚本。

评估流程


Step 1: 准备测试用例

写 2-3 个真实的用户 prompt,不是抽象的"处理数据",而是具体的:

“

"我老板发了个 xlsx 文件(在我下载文件夹里,叫 'Q4 sales final FINAL v2.xlsx'),她要我加一列显示利润率百分比。收入在 C 列,成本在 D 列"

这种带上下文、有细节、甚至有错别字的 prompt 才是真实场景。


Step 2: 跑对照实验

每个测试用例要跑两个版本:

  • 有 Skill :正常使用 Skill
  • 基线版:没有 Skill / 旧版 Skill

这样才能知道 Skill 到底带来了什么改进。


Step 3: 收集反馈

让用户看输出结果,给反馈。空反馈 = 满意,有文字 = 有问题。

重点关注有具体抱怨的用例,而不是试图让所有用例都完美。


Step 4: 迭代改进

根据反馈改 Skill,但要注意:

泛化而不是过拟合。如果用户说"这个图表没有坐标轴标签",不要加一条"必须给图表加坐标轴标签"的硬规则。要理解为什么会漏掉,从根本上解决问题。

解释 Why 而不是堆 MUST。当你发现自己在写"ALWAYS"和"NEVER"的时候,停下来想想能不能换个方式解释清楚背后的原因。模型很聪明,给它理由比给它命令更有效。

保持精简。看 transcript,如果模型在某个步骤上浪费时间,考虑删掉那部分指令。

常见的评估陷阱


陷阱 1: 测试用例太简单

"读取这个 PDF"这种 prompt 不会触发 Skill,因为 Claude 可以直接用基础工具处理。要测试复杂的、多步骤的、专业化的任务。


陷阱 2: 只看成功的用例

失败的用例才是改进的方向。如果所有测试都通过了,要么是测试太简单,要么是覆盖不够。


陷阱 3: 断言没有区分度

如果一个断言不管有没有 Skill 都能通过,那它没有任何测试价值。好的断言应该能区分出 Skill 带来的改进。


陷阱 4: 忽视方差

同一个 prompt 跑多次,结果可能不一样。高方差意味着 Skill 不稳定,需要排查原因。

工具推荐

如果你在用 Claude Code 或 Cowork,可以用 skill-creator 自带的评估工具:

  • aggregate_benchmark 脚本:自动聚合评估结果
  • generate_review.py:生成可视化的评估界面
  • run_loop.py:自动化优化 description 的触发率

如果在 claude.ai 上,就手动跑测试用例,直接在对话里收集反馈。


实战案例:如何评估量化策略构建 Skill

讲完通用方法,来看一个具体例子:Strategy Builder Skill——一个把模糊的投资想法转化为可执行量化策略的 Skill。

这个 Skill 的特殊之处在于:它的输出不是文档或代码那么简单,而是一整套交互流程 + 最终的策略配置 + 可执行代码。评估起来比一般 Skill 复杂得多。


评估维度 1: 触发准确率

应该触发的用例:

[
  {\"query\": \"我想买 AXTI, IQE, L…
— 以上为试看内容(约 40%),开通会员后阅读全文 —