让Skill自己训练自己:8阶段Loop、3层评测、5维AND门控,从此实现自进化


你是否想过,Skill 其实也可以像神经元参数一样被训练。你总想着授它以鱼,像个训斥孩子的妈妈,一遍一遍对着它苦口婆心地说教——你给我记住!你不许这样!这样不对!但好的教育难道不应该试着授它渔,给他一本书、一个目标,让他自己实践、碰壁、改错么?于是,我做了一个 skill 自己训练自己——自己迭代,自己评测,自己回归,最后选出一个最棒的 checkpoint 给你。是不是还有点意思?


   阅读导航


全文有效内容约 6000 字(不含导航与附录),通读约 15 分钟。前两章为主要思想,第三章为工程实践。


章
标题
一句话
属性
一
Skill 其实并没有看上去那么百依百顺
从我对 skill 的几个误解写起,慢慢走到为什么后来会把它看成一个 harness
法
二
这其实就是个「skill 的训练框架」
借用一点 深度学习 的类比,提出一种 skill 的训练循环、评测、门控和 trace方法
法
三
我把它做出来了,并且验证了可行性
19 轮自进化 + 真实业务 skill 实战,从自证到落地
术
后话
它不完美,但我还是试着相信它
局限、适用边界、如果你想试应该从哪里开始
反思
附录
技术支柱溯源
文中涉及的关键数据和相关技术来源
-


故事是这样的。


不久前的某个晚上,我做了一件看起来挺无聊,但其实异常上头的事,我让一个 skill 自己迭代去改它自己。


它一共跑了 19 轮,每一轮都揪出了至少一个我之前完全没看见的问题——有的是真 bug,有的是边界补全,有的是整块代码的职责重构。


其实这件事从技术上讲,并不复杂。


由于需要实现各个阶段的目标,我去检索了相关的paper和技术博客,吸收他们的思想。但让我最后决定把它记录下来的,不是这的个「吸收」过程,而是它真的在替我探索我不想费脑力触达的边界,这看起来更像是一个机器智能应该有的样子。于是,我把这些思路沉淀成了一个skill。


先从最开始说起吧。




01



Skill 并没有看上去那么百依百顺


   1.1 它看起来像 prompt,其实更像 harness


你大概已经感受到了,skill 正在以一种「到处都是」的势头渗进你生活的各个角落。各个AI巨头或许互相不对付,但在 skill 这件事上出奇地一致。


一个 SKILL.md 加上一堆参考资料和脚本,就可以打包成一个可分发的能力单元(关于 skill 本身就不展开了,大家请直接移步互联网)。


但有一件事我想说清楚。


skill 最容易让人误会的一点,是它看起来像 prompt,实际上更像 harness。


写一个能跑的 skill 不难,你随手糊一个 SKILL.md,模型就能照着做事了。但你要让它稳定干活,那就是另一回事了。触发边界怎么定?安全规则怎么加?references 之间的一致性谁来管?脚本版本兼容谁来保证?这些东西加在一起,早就不是「写一段 prompt」了,是在搭一套系统。


然后你就开始加规则。MUST 不能这样,NEVER 不能那样,遇到 X 情况走 Y 分支。你觉得规则加够了,它终于不崩了。


但很快你会碰到几个让人崩溃的事情。


稳定性。 你加了一个看起来特别对的安全检查,比如「git 状态不干净就拒绝执行」。所有测试都过了。但用户那边一个全新的、还没 git init 的 skill 目录,直接报错退出。你自己测不出来,因为你的测试环境里所有 skill 都已经在 git 下面了。

边界。 你的 cleanup 函数用字符串排序,iteration-1 到 iteration-9 都好好的。直到第 10 轮,iteration-10 突然排到了 iteration-2 前面,cleanup 把最新的结果给删了。你之前一直没发现,因为你的测试从来没跑超过 9 轮。

规则之间打架。 你加了一条安全规则保护 A 场景,结果它把 B 场景的正常路径给封死了,而 B 场景就写在你自己的协议文档里。你自己写的规则把自己写的协议给违反了。


规则越多,模型的行为越不确定。这不是模型的问题,是规则本身的复杂度在爆炸。


   1.2 更痛苦的是:skill 终于能跑了,但一点都不 match 你的数据


好不容易,你调了三天,它终于不崩了、不报错了、看起来能用了。


但它一点都不好用。


比如用户问「员工离职后邮箱还在不在」,skill 把它路由到邮箱分类,但正确答案在通讯录的「删除/禁用成员」章节。你知道这是问题,但你不知道有多少类似的问题,更不知道改了这个会不会弄坏别的。


这才是核心。一个「能跑」的 skill 和一个「真的好」的 skill 之间,有一条到西天取经那么具体的路。


「能跑」只是语法通过了、不崩了。「真的好」是它的行为 match 你的数据分布,在你定义的输入上,产出你期望的输出。就像训模型不是让代码编过,是让 loss 收敛。


写一版 SKILL.md → 手动测几个用例 → 觉得不对 → 改几行 → 再测 → 循环往复。质量完全取决于作者水平,有时候觉得我不是在写 skill,是在和自己过不去。


   1.3 我怎么走到这一步


接着 3 月份 Karpathy 在 X 上发了一条博客,现在已经出圈到 Fortune 都发报道了(https://fortune.com/2026/03/17/andrej-karpathy-loop-autonomous-ai-Agents-future/)。


他写了一个 630 行的 Python 脚本,叫 autoresearch(https://github.com/karpathy/autoresearch)。就干一件事,让一个 AI agent 去迭代一个 LLM 的训练代码,每次改一点,训练 5 分钟,看指标,好了留下,坏了回滚,不停往复。


两天里面,这个 AI agent 跑了 700 个实验。找出了 20 个能让训练变快的优化,性能提升了 19%。


我看到这条推的时候脑子里就一个念头,这不正是我想要的东西吗?


再过了几天,Udit Goenka(https://github.com/uditgoenka/autoresearch) 把 Karpathy 的思路从「优化 LLM 训练代码」泛化成了「优化任何可以测量的东西」,做成了一个 Claude Code skill。他提炼了 5 条原则,one metric、constrained scope、fast verification、automatic rollback、git as memory。


但 Udit 的版本要求用户自己说什么叫「好」什么叫「坏」。而 skill 评测是个非常特殊的问题,既不是跑单元测试那种纯确定性的东西,也不是跑 benchmark 那种纯数字的东西。它更像是语文老师批作文,带主观性,又要有一致性。


你说强巧不巧,Anthropic 自己的 skill-creator(https://github.com/anthropics/skills/tree/main/skills/skill-creator) 恰好提供了一整套 skill 评测和创建能力,quick_validate 做结构检查,grader 做逐条打分,comparator 做 A/B 盲审,还能自动生成 GT 测试用例。评测引擎的底座已经现成了。


接着,4 月初我又看到一篇Paper,斯坦福的 Meta-Harness(https://arxiv.org/abs/2603.28052)。


它说,你要让一个 AI 去优化另一个 AI,最关键的不是给它摘要,不是给它分数,而是给它完整的「原始执行轨迹」。论文的消融实验表示,当你只给LLM分数的相比于给它完整trace,效果差了 44%。


道理很朴素。你让一个医生看完整的病例、化验报告、影像,他能给出好诊断。你把这些压缩成一段 300 字的摘要喂给他,他只能靠猜。


于是我想,好像有什么东西要成了?


   1.4 拼在一起


Karpathy 给了外循环的骨架,Meta-Harness 告诉我诊断必须喂原始 trace,skill-creator 提供了评测和创建的完整底座。


或者说,外层用 autoresearch 的方式不断试错、回滚、保留。内层用 creator 的评测把「好不好」这件事测清楚。再用 Meta-Harness 的 trace,把每一次失败变成可诊断的证据,而不是一个模糊的分数。


那我要做的事情其实很清楚了,蒸馏他们!把三种已经被证明有效的思想,在 skill 这个对象上接成了一条能真正跑起来的闭环,能评测,能诊断,能回滚,也能自己迭代自己。


我给它取了个名字,skill-evolver。


Skill-Evolver = AutoResearch 的 loop 骨架 + Creator 的评测引擎 + Meta-Harness 的诊断大脑。





02



这其实就是个「skill 的训练框架」——有点像Torch,但用对话驱动


好了,来源聊完了,说说这东西到底怎么设计的。


   2.1 训模型 vs 训 Skill


如果你做过 ML,下面这张表应该一下就懂。没做过也没关系,不妨请接着往下读读:


一下子名词有点多,没关系,我们来拆解一下:


GT(Ground Truth) 就是你给 skill 准备的「标准答案」。比如用户问「员工离职后邮箱还在不在」,GT 里写着正确答案应该引用「通讯录/功能介绍.md」这个文件。skill-evolver 每一轮都拿 GT 来测 skill,看它答对了多少。


8 种 assertion 是 GT 里的检查方式。最简单的是 contains(输出里有没有某段文字),复杂的有 script_check(跑一个脚本看返回值)和 fact_coverage(让 LLM 逐条判断知识点有没有被覆盖)。6 种是程序直接判的,2 种…

— 以上为试看内容(约 40%),开通会员后阅读全文 —