让Skill自己训练自己:8阶段Loop、3层评测、5维AND门控,从此实现自进化
你是否想过,Skill 其实也可以像神经元参数一样被训练。你总想着授它以鱼,像个训斥孩子的妈妈,一遍一遍对着它苦口婆心地说教——你给我记住!你不许这样!这样不对!但好的教育难道不应该试着授它渔,给他一本书、一个目标,让他自己实践、碰壁、改错么?于是,我做了一个 skill 自己训练自己——自己迭代,自己评测,自己回归,最后选出一个最棒的 checkpoint 给你。是不是还有点意思?
阅读导航
全文有效内容约 6000 字(不含导航与附录),通读约 15 分钟。前两章为主要思想,第三章为工程实践。
| 一 | |||
| 二 | |||
| 三 | |||
| 后话 | |||
| 附录 |
故事是这样的。
不久前的某个晚上,我做了一件看起来挺无聊,但其实异常上头的事,我让一个 skill 自己迭代去改它自己。
它一共跑了 19 轮,每一轮都揪出了至少一个我之前完全没看见的问题——有的是真 bug,有的是边界补全,有的是整块代码的职责重构。
其实这件事从技术上讲,并不复杂。
由于需要实现各个阶段的目标,我去检索了相关的paper和技术博客,吸收他们的思想。但让我最后决定把它记录下来的,不是这的个「吸收」过程,而是它真的在替我探索我不想费脑力触达的边界,这看起来更像是一个机器智能应该有的样子。于是,我把这些思路沉淀成了一个skill。
先从最开始说起吧。
01
1.1 它看起来像 prompt,其实更像 harness
你大概已经感受到了,skill 正在以一种「到处都是」的势头渗进你生活的各个角落。各个AI巨头或许互相不对付,但在 skill 这件事上出奇地一致。
一个 SKILL.md 加上一堆参考资料和脚本,就可以打包成一个可分发的能力单元(关于 skill 本身就不展开了,大家请直接移步互联网)。
但有一件事我想说清楚。
skill 最容易让人误会的一点,是它看起来像 prompt,实际上更像 harness。
写一个能跑的 skill 不难,你随手糊一个 SKILL.md,模型就能照着做事了。但你要让它稳定干活,那就是另一回事了。触发边界怎么定?安全规则怎么加?references 之间的一致性谁来管?脚本版本兼容谁来保证?这些东西加在一起,早就不是「写一段 prompt」了,是在搭一套系统。
然后你就开始加规则。MUST 不能这样,NEVER 不能那样,遇到 X 情况走 Y 分支。你觉得规则加够了,它终于不崩了。
但很快你会碰到几个让人崩溃的事情。
稳定性。 你加了一个看起来特别对的安全检查,比如「git 状态不干净就拒绝执行」。所有测试都过了。但用户那边一个全新的、还没 git init 的 skill 目录,直接报错退出。你自己测不出来,因为你的测试环境里所有 skill 都已经在 git 下面了。
边界。 你的 cleanup 函数用字符串排序,iteration-1 到 iteration-9 都好好的。直到第 10 轮,iteration-10 突然排到了 iteration-2 前面,cleanup 把最新的结果给删了。你之前一直没发现,因为你的测试从来没跑超过 9 轮。
规则之间打架。 你加了一条安全规则保护 A 场景,结果它把 B 场景的正常路径给封死了,而 B 场景就写在你自己的协议文档里。你自己写的规则把自己写的协议给违反了。
规则越多,模型的行为越不确定。这不是模型的问题,是规则本身的复杂度在爆炸。
1.2 更痛苦的是:skill 终于能跑了,但一点都不 match 你的数据
好不容易,你调了三天,它终于不崩了、不报错了、看起来能用了。
但它一点都不好用。
比如用户问「员工离职后邮箱还在不在」,skill 把它路由到邮箱分类,但正确答案在通讯录的「删除/禁用成员」章节。你知道这是问题,但你不知道有多少类似的问题,更不知道改了这个会不会弄坏别的。
这才是核心。一个「能跑」的 skill 和一个「真的好」的 skill 之间,有一条到西天取经那么具体的路。
「能跑」只是语法通过了、不崩了。「真的好」是它的行为 match 你的数据分布,在你定义的输入上,产出你期望的输出。就像训模型不是让代码编过,是让 loss 收敛。
写一版 SKILL.md → 手动测几个用例 → 觉得不对 → 改几行 → 再测 → 循环往复。质量完全取决于作者水平,有时候觉得我不是在写 skill,是在和自己过不去。
1.3 我怎么走到这一步
接着 3 月份 Karpathy 在 X 上发了一条博客,现在已经出圈到 Fortune 都发报道了(https://fortune.com/2026/03/17/andrej-karpathy-loop-autonomous-ai-Agents-future/)。
他写了一个 630 行的 Python 脚本,叫 autoresearch(https://github.com/karpathy/autoresearch)。就干一件事,让一个 AI agent 去迭代一个 LLM 的训练代码,每次改一点,训练 5 分钟,看指标,好了留下,坏了回滚,不停往复。
两天里面,这个 AI agent 跑了 700 个实验。找出了 20 个能让训练变快的优化,性能提升了 19%。
我看到这条推的时候脑子里就一个念头,这不正是我想要的东西吗?
再过了几天,Udit Goenka(https://github.com/uditgoenka/autoresearch) 把 Karpathy 的思路从「优化 LLM 训练代码」泛化成了「优化任何可以测量的东西」,做成了一个 Claude Code skill。他提炼了 5 条原则,one metric、constrained scope、fast verification、automatic rollback、git as memory。
但 Udit 的版本要求用户自己说什么叫「好」什么叫「坏」。而 skill 评测是个非常特殊的问题,既不是跑单元测试那种纯确定性的东西,也不是跑 benchmark 那种纯数字的东西。它更像是语文老师批作文,带主观性,又要有一致性。
你说强巧不巧,Anthropic 自己的 skill-creator(https://github.com/anthropics/skills/tree/main/skills/skill-creator) 恰好提供了一整套 skill 评测和创建能力,quick_validate 做结构检查,grader 做逐条打分,comparator 做 A/B 盲审,还能自动生成 GT 测试用例。评测引擎的底座已经现成了。
接着,4 月初我又看到一篇Paper,斯坦福的 Meta-Harness(https://arxiv.org/abs/2603.28052)。
它说,你要让一个 AI 去优化另一个 AI,最关键的不是给它摘要,不是给它分数,而是给它完整的「原始执行轨迹」。论文的消融实验表示,当你只给LLM分数的相比于给它完整trace,效果差了 44%。
道理很朴素。你让一个医生看完整的病例、化验报告、影像,他能给出好诊断。你把这些压缩成一段 300 字的摘要喂给他,他只能靠猜。
于是我想,好像有什么东西要成了?
1.4 拼在一起
Karpathy 给了外循环的骨架,Meta-Harness 告诉我诊断必须喂原始 trace,skill-creator 提供了评测和创建的完整底座。
或者说,外层用 autoresearch 的方式不断试错、回滚、保留。内层用 creator 的评测把「好不好」这件事测清楚。再用 Meta-Harness 的 trace,把每一次失败变成可诊断的证据,而不是一个模糊的分数。
那我要做的事情其实很清楚了,蒸馏他们!把三种已经被证明有效的思想,在 skill 这个对象上接成了一条能真正跑起来的闭环,能评测,能诊断,能回滚,也能自己迭代自己。
我给它取了个名字,skill-evolver。
Skill-Evolver = AutoResearch 的 loop 骨架 + Creator 的评测引擎 + Meta-Harness 的诊断大脑。
02
好了,来源聊完了,说说这东西到底怎么设计的。
2.1 训模型 vs 训 Skill
如果你做过 ML,下面这张表应该一下就懂。没做过也没关系,不妨请接着往下读读:
一下子名词有点多,没关系,我们来拆解一下:
GT(Ground Truth) 就是你给 skill 准备的「标准答案」。比如用户问「员工离职后邮箱还在不在」,GT 里写着正确答案应该引用「通讯录/功能介绍.md」这个文件。skill-evolver 每一轮都拿 GT 来测 skill,看它答对了多少。
8 种 assertion 是 GT 里的检查方式。最简单的是 contains(输出里有没有某段文字),复杂的有 script_check(跑一个脚本看返回值)和 fact_coverage(让 LLM 逐条判断知识点有没有被覆盖)。6 种是程序直接判的,2 种…