SkillOpt 架构拆解:把 Skill 文本当参数,用执行轨迹训练 Agent

SkillOpt 把 Skill 维护变成可验证训练:采样、反思、受限编辑、门禁筛选。

很多 Agent 项目的瓶颈,最后都会落到一份文本上。

这份文本可能叫 SKILL.md,也可能是工具调用说明、流程手册、输出规范、故障补救规则。它不参与模型训练,却会持续改变 Agent 的判断路径。问题在于,我们通常把它当文档维护:专家凭经验写一版,线上出问题再补几句,偶尔让模型帮忙重写。这个过程很快会失控,因为没人能说清楚哪条规则真的改善了任务表现,哪次改动只是看起来更合理。

SkillOpt 试图把这个问题改成一个更工程化的命题:如果模型权重被冻结,能不能把 Skill 文本本身当作可优化对象,用真实任务轨迹来训练它?

答案是可以,但前提不是让模型随意重写整份文档,而是给 Skill 建一套类似训练循环的机制:采样执行、轨迹反思、受限编辑、验证门禁和版本沉淀。最终产物不是一个新模型,而是一份经过多轮筛选的 best_skill.md。

Skill 文本为什么需要训练闭环

手写 Skill 的问题不在于人写得不够好,而在于它缺少反馈纪律。一个 Agent 出错后,维护者看到的通常是单个 case:这次没查对资料、那次输出格式错了、某个工具调用顺序反了。把这些现象直接补进文档,很容易得到一份越来越长、越来越碎的说明书。

SkillOpt 的关键判断是:Skill 应该根据一批任务的共同失败模式更新,而不是根据某次事故临场补丁。

它把 Skill 放进真实执行环境里,让目标 Agent 带着当前版本去跑任务,记录答案、工具调用、观察结果和评分。优化器不再凭空“改 Prompt”,而是从这些 rollout evidence 里找稳定信号:哪些错误重复出现,哪些成功路径可以固化,哪些规则没有被 Agent 执行。

维护方式
常见做法
主要风险
人工手写 Skill
专家先写流程,再靠线上经验补充
规则来源分散,难判断是否有效
一次性生成 Skill
让模型根据需求直接产出完整说明
结构漂亮,但没有经过任务验证
松散 self-revision
模型读失败样本后整篇重写
容易覆盖原本有效的约束
SkillOpt 式优化
当前 Skill 跑任务,再基于轨迹做小步编辑
成本更高,但每次改动有验证门禁

这里最重要的变化是评价对象变了。Skill 不再只是“读起来是否完整”,而是“它是否让冻结模型在任务集上做得更好”。

Textual Parameter:把 Skill 当作可编辑参数

SkillOpt 里有一个很有意思的类比:深度学习改的是模型参数,SkillOpt 改的是自然语言 Skill。两者当然不是一回事,但这个类比能帮助我们理解它为什么强调小步、验证和回滚。

图:目标模型冻结不动,Skill 文本作为受控状态被小步更新

这张图表达的不是“文本也能反向传播”,而是 Skill 文本可以被当作受控状态来更新。目标模型 f 冻结不动,输入任务 x 和 Skill S 一起进入 Agent,得到输出 y。优化器看到轨迹和评分后,只能提出有限的文本编辑。候选版本必须通过验证集,才有资格替换当前 Skill。

模型训练概念
SkillOpt 中的对应物
parameter
Skill 文档里的自然语言规则
gradient direction
从执行轨迹推导出的修改方向
learning rate
每轮允许修改的编辑预算
validation check
独立 selection split 上的门禁
stable training
批量采样、缓冲区、长期指导和版本筛选

这个设计避免了一个常见坑:模型看到失败案例后,很容易写出一段“听起来更全面”的新规则,但这段规则可能让其他任务变差。SkillOpt 不接受这种凭感觉的改进。候选 Skill 必须在 held-out selection split 上严格变好,持平都不算通过。

Rollout Evidence:先让 Agent 暴露真实错误

SkillOpt 的第一步不是写建议,而是执行。

目标 Agent 带着当前 Skill 跑一批任务,系统记录输入、推理轨迹、工具调用、观察结果、最终答案和评分。这个过程相当于训练里的前向采样。它的价值不只是拿到分数,而是让优化器看到 Agent 实际是怎么偏…

— 以上为试看内容(约 40%),开通会员后阅读全文 —