腾讯开源SkillHone:Agent技能进化不再"失忆",GAIA超商用Deep Research 15.8分

一句话讲清楚👉🏻 腾讯微信团队提出 SkillHone 框架,把 Agent 技能优化过程中的诊断、修改、评估证据和决策结果全部持久化记录,让后续会话能继承"为什么这样改"的上下文,在 GAIA 和 WebWalkerQA 上分别比商用 Deep Research Agent 高出 15.8 和 3.2 个百分点。

  • 论文标题:SkillHone: A Harness for Continual Agent Skill Evolution Through Persistent Decision History

  • 论文链接:https://arxiv.org/abs/2606.08671

  • Github 链接:https://github.com/Tencent/SkillHone

  • 项目链接:https://zwlijay.github.io/SkillHone-Project

一个真实会发生的场景

你维护过 Claude Code 或 Codex 里的 Agent Skill 吗?第一次写 SKILL.md 时,搜索脚本跑通了,验证也过了。两周后 DuckDuckGo 改了接口, Agent 开始频繁超时。你让模型"再优化一下技能",它把超时重试逻辑改回去了——恰好是你第一轮已经试过、后来证明会拖慢整体流程的方案。

问题不在模型不够聪明,而在上一轮优化的决策上下文丢了。后来的 Agent 只拿到最新的 SKILL.md 快照,看不到:当时诊断出了什么、哪些补丁被拒绝、评估探针暴露了哪种失败模式、为什么最终选了 A 方案而不是 B 。

腾讯微信团队的新论文 SkillHone ,瞄准的就是这个被忽视的缺口:技能进化既要产出更好的 Skill 包,也要留下可跨会话复用的决策历史。

只保留最终技能产物时,后续 Agent 可能重复已废弃的修复,让后续优化更难推进。

Agent Skill 已成主流,但维护仍是手工活

过去两年,技能( Skill ) 从 Claude Code 、 Codex 到 Hermes ,几乎成了扩展 LLM Agent 能力的标准单元。一个 Skill 通常打包了:

■任务说明(SKILL.md)
■可执行脚本
■参考文档和模板
■输出格式约定

把它想成"可热插拔的操作手册"就行: Agent 遇到某类任务时加载对应 Skill ,按既定流程搜索、解析、验证、输出。

但 Skill 从来不是一锤子买卖。 API 会变、网页结构会变、免费搜索接口会限流。一个能在今天跑通的 Deep Research Skill ,下个月可能就卡在同一个边界情况上。创建—调试—扩范围—打补丁 这个循环,在 Skill 的整个生命周期里反复出现。

现有改进路线大致分两类:

合成式构建(如 Anthropic 的 Skill-Creator ):从任务描述或样例生成一个可加载 Skill ,交给后续会话直接用。

反射式优化(如 Hermes-SE ,基于 GEPA ):在单次优化轮次里做变异、评估、选择,迭代改进 Skill 、 Prompt 、工具描述甚至代码。

这两条路都能在一轮有界优化内把 Skill 做得更好,但共同点是:最终只留下优化后的产物。 Git diff 能告诉你改了哪几行,却回答不了"为什么改"和"试过什么没成"。

论文要回答的方法论问题

SkillHone 论文把核心问题写得很清楚:后续 Agent 如何在多次开发会话之间继续改进 Skill ,同时不丢失早期改动的依据?

这里的"依据"包括三层信息:

■诊断层:当时认为失败原因是什么(限流?脚本 bug ?验证逻辑太严?)
■候选层:提出过哪些修订、哪些被拒绝、拒绝理由是什么
■证据层:练习探针暴露了哪种失败模式,这些证据如何支撑接受或拒绝

如果只保留 (最终 Skill 快照),后续会话面对新故障时,只能从零开始猜——这和软件工程里"只有最终代码、没有 commit message 和 PR review"是一个困境。

Agent Skill 生态的三股力量

理解 SkillHone 的位置,需要先看清 2025–2026 年 Agent Skill 生态的三条主线:

平台侧: Claude Code 、 OpenAI Codex 、 Hermes 等运行时把 Skill 变成一等扩展单元,用户可加载、卸载、组合 Skill ,像插件一样切换任务模式。

社区侧: ClawHub 、 SkillHub 等平台涌现大量社区 Skill——搜索、爬虫、文献综述、代码审查等,质量参差不齐但覆盖广。

研究侧: SkillsBench 问"Skill 到底有没有用"; Skill-R1 、 SkillForge 等探索自动发现和强化学习进化; GEPA/Hermes-SE 把反射式优化引入 Skill 组件。

SkillHone 填的是第四块拼图: Skill 已经存在、已经在跑,如何在长达数月的生命周期里持续维护,且不把每次优化的上下文丢进垃圾桶。这和"怎么生成第一个 Skill"是不同问题,论文的贡献列表也按这个切口组织。

合成式 vs 反射式:各自擅长什么

Skill-Creator 路线 适合冷启动:你有一个任务描述、几份样例文档,想快速得到一个可加载的 Skill 包。它的优化发生在"生成阶段",产物交给后续会话后,维护责任就转移给了用户或下一个 Agent 。

Hermes-SE / GEPA 路线 适合单轮改进:在同一轮优化里对 Skill 正文、 Prompt 、工具描述做反射式变异,用标量验证分数决定接受或跳过。这在有界轮次内有效,但轮次结束后历史通常不保留——下一轮优化又从  和标量信号重新开始。

SkillHone 与上述两条路线互补,专注解决 轮次与轮次之间的连续性断层。你可以用 Skill-Creator 生成 ,再用 SkillHone 在数月内持续打磨;也可以把 Hermes-SE 的一轮输出当作种子,接入 SkillHone 的长期维护环。

从架构图读设计:左侧改 Skill ,右侧跑探针

架构图( Figure 2 )把 SkillHone 画成左右两团子 Agent 团队,中间是 Agent 运行时( Claude Code / Codex / …)和仓库操作层。

左侧优化 Agent 团队 维护 Skill 仓库:诊断员读脱敏报告和历史做诊断,探索员整合既往资源和失败维基,提案员起草类型化修订并开 PR 。它们能改 SKILL.md、脚本、参考文档、模板,但永远碰不到探针的标准答案。

右侧评估 Agent 团队 维护 Skill-Eval 仓库:执行员在探针上跑候选 Skill ,分析员分析执行轨迹,报告员输出脱敏问题报告。它们能查看探针、验证器和轨迹,但不能写 Skill 仓库。

中间持久决策历史 按时间轴串联维基、 Issue 、 PR 、合并/拒绝操作——每一轮迭代都在这条轴上留痕。后续会话的诊断员可以先翻阅这条轴,再决定本轮要不要重新打开旧 Issue 。

这种布局的工程含义是:SkillHone 不绑定特定 Agent 产品,只要求运行时能按需启动权限隔离的子任务——Claude Code 、 Codex 、 Hermes 都能接。

开源仓库里有什么

GitHub 仓库 https://github.com/Tencent/SkillHone 已公开,项目页 https://zwlijay.github.io/SkillHone-Project 提供补充材料。对想复现的读者,建议按这个顺序读:

1.README 里的框架接入说明——如何把现有 Skill 包挂进双仓库结构
2.Skill-Eval 仓库示例——探针、验证器、脱敏策略怎么组织
3.附录中的调度权限表——哪些操作属于优化侧、哪些属于评估侧
4.Deep Research 进化案例——对照 Table 4 看 Issue/PR 链

复现门槛主要在 评估仓库建设:公开基准的最终测试集不能进优化循环,你需要自建练习探针,或按论文规范划分训练/验证 split 。

读者画像与本篇读法

本篇默认读者:有技术背景、关注 AI/Agent 工程实践,但不是 Skill 优化方向专家。

如果你主要写 Skill 、维护 Agent 工作流,重点读「五轮进化实录」「三条实操建议」和 Figure 4 轨迹对比;如果你做 Agent 平台,重点读角色边界和脱敏设计;如果你跟进 Agent 研究,重点读和 GEPA/Hermes-SE 的差异轴及消融实验。

问题形式化: Skill 是什么, SkillHone 优化什么

论文对 Skill 的定义很克制:一个可移植产物,打包 Agent 完成某类任务所需的说明、流程、参考文档和输出约定。 SkillHone 固定模型后端和外部工具,专注在 Skill 产物本身如何跨会话维护。

它维护两个关联仓库,接受修订后产生 Skill 序列 ,整个过程由练习反馈和持久决策历史共同引导。

优化侧只看到脱敏报告,看不到未脱敏的目标、验证器或执行轨迹——这是整个框架能扩展的前提:练习反馈不能变成直接死记硬背的目标,否则 Agent 只是在探针上背答案,学不到流程。

SkillHone 的核心主张:决策历史比最终产物更重要

SkillHone 的出发点很直接——把 Skill 修订和评估证据都当作带决策信息的记录,文件 diff 只是其中一环。

每条决策记录包含四个要素:

■:诊断——当前失败模式是什么
■:候选修订——打算怎么改 Skill
■:脱敏后的评估证据——探针跑出来的反馈摘要
■:决策结果——接受、拒绝、要求再改,或暂缓

到第  轮,完整历史是 。

这和版本 diff 的区别在于:diff 只描述"变了什么",决策记录把变化绑回到"针对什么问题、依据什么证据、最终为什么接受或拒绝"。当环境再次变化——比如限流策略升级——后来的子 Agent 可以查 ,判断这是新故障还是旧问题复发,避免把已经证伪的补丁又加回来。

用人话翻译上面四个符号: 是"我觉得哪里坏了", 是"我打算这样修", 是"跑探针后脱敏的体检报告", 是"这版补丁合并还是拒绝"。四者绑在一起,才构成可审计的一轮进化步骤;缺任何一项,后续 Agent 都会猜。

论文还强调 决策结果不止接受/拒绝二元,还有"要求再改一版"和"暂缓、等更多证据"。这对应真实维护里常见的"方向对但补丁不完整"——SkillHone 允许部分接受路径,而不是 Hermes-SE 式的整包跳过。

Figure 1 在警告什么

开篇示意图( Figure 1 )画的是一个具体失败链条:限流来了 → Agent 加重试 → API 改版 → 下一轮优化又把重试加回来,因为看不到上一轮拒绝重试的证据。 SkillHone 的应对是:把"因拖慢整体流程而拒绝重试"写进 ,下次调度先检索这条记录,直接跳过已知无效补丁。

SkillHone 架构:优化侧维护 Skill 仓库,评估侧维护探针与验证集;角色隔离的子 Agent 按需调度,脱敏证据与仓库操作共同构成持久决策历史。

双仓库 + 角色隔离:怎么把"记忆"落地

SkillHone 把整个框架形式化为:

■:优化 Agent 团队——维护 Skill 仓库,读历史、做诊断、提修订
■:评估 Agent 团队——跑探针、看轨迹、出脱敏报告
■:运行时调度器——路由消息、记录结果,本身不做决策

两个关联仓库

Skill 仓库 存当前 Skill 包:SKILL.md、脚本、参考文档、模板等。

Skill-Eval 仓库 存评估资产:练习探针、标准目标、验证器、回归集、执行轨迹、脱敏报告等。

优化侧只能看到脱敏报告,看不到未脱敏的探针答案、验证器和完整轨迹。这样练习反馈不会变成直接背答案的捷径。

角色边界为什么关键

评估侧子 Agent 可以查看探针和轨迹,在探针上跑当前 Skill ,分析失败并输出脱敏报告——但不能写 Skill 仓库。

优化侧子 Agent 可以改 Skill 、读历史决策——但不能碰未脱敏的探针目标。

调度器只是消息路由器:把脱敏证据和审查请求在两侧之间转发,记录被接受的决策结果。接受/拒绝由有相应权限的一侧做出,保证决策历史和产生它的权限边界一致。

论文把反复出现的调度模式列成表(附录 E ),典型角色包括诊断员、探索员、提案员、报告员、分析员、执行员等——全部在运行时按需创建,每个任务权限受限、范围明确。

算法循环

整体流程对应 Algorithm 1 :

1.评估侧在 Skill-Eval 仓库上跑当前 Skill ,导出脱敏报告 
2.优化侧检索历史 ,提出诊断  和修订 
3.评估侧对  返回脱敏证据 
4.决定 
5.若接受则 ,否则保持 
6.

多轮之后输出最终 Skill  和完整决策历史 。

逐步直觉:

■先评估、后优化:先用当前  在评估仓库上导出 ,让优化侧知道"现在哪里痛",避免盲目修改
■诊断与补丁绑定:优化侧读  后提出 ——诊断和补丁绑定,且补丁是类型化修订(改脚本、改 SKILL.md、加参考文档等),不是整篇重写
■单独验补丁:对  单独跑评估,返回 ;这一步验证"提议的修是否对症"
■拒绝也要留档: 决定合并与否,同时 无论接受还是拒绝,都写入 ——拒绝的记录同样宝贵,告诉后续 Agent "此路不通"

论文强调 调度器  不是决策权威:它只路由消息、记录结果,避免中央编排器变成瓶颈或单一偏见来源。

GitHub 式工作流:让进化过程可审计

实现上, SkillHone 用类似 GitHub 的仓库工作流承载决策历史:

■Issue 记录诊断出的失败模式
■Pull Request 承载 Skill 修订提案
■Merge/Reject 记录最终决策

附录 Table 4 展示了一次 Deep Research Skill 的五轮进化:从 DuckDuckGo 搜索脚本、错误处理、时间管理,到合并前两轮优点、加入 Wikidata SPARQL ,再到回滚预算参数同时保留名字格式规则——每一轮改了哪些文件、多少行增删,都有 PR 记录。

第 5 轮尤其说明问题:探针显示预算从 20 提到更高后性能下降, SkillHone 只回滚预算相关改动,保留名字格式规则和 SPARQL 脚本。这种"局部回滚"在只有最终产物的优化框架里很难做到。

五轮进化实录: Issue/PR 里到底发生了什么

附录 Table 4 记录了一次 Deep Research Skill 从种子到第五轮的完整仓库操作——它展示了 SkillHone 如何同时改 SKILL.md、 shell 脚本和 Python 脚本,而不是 Hermes-SE 那样主要重写单一 SKILL.md 正文。

第 1 轮: DuckDuckGo 超时频发 → 加重试逻辑 + 补 wiki/wikidata 脚本 → 合并。探针显示搜索链路稳定,但写入策略仍偏保守。

第 2 轮:真实网页搜索仍偶发失败 → 把 ddg shell 换成 Python 实现,加 Jina 抓取 → 合并。证据显示 Python 版错误处理更可控。

第 3 轮:前两轮各有优点(第一轮脚本全、第二轮抓取稳)→ 读  做精准合并,减轻验证负担、收紧预算 → 合并。这是决策历史价值的典型时刻。

第 4 轮:名字格式解析失败 → 加 Wikidata SPARQL 脚本 + 收紧预算 → 合并。诊断链写进 Issue #15 ,后续 Agent 知道 SPARQL 为何存在。

第 5 轮:预算调高后探针分数下降 → 只把预算回滚到 20 ,保留名字规则和 SPARQL → 合并。若无 #15/#19 的关联记录,这一步几乎不可能精准执行。

(附录 Table 4 还列出了每轮 PR 的文件级 diff 行数,此处从略。)

各调度角色分工

附录 E 的权限表把反复出现的模式拆得很细,核心几类:

模式
所属团队
能做什么
不能做什么
诊断员
优化
读脱敏报告、读历史、写诊断
访问未脱敏探针
提案员
优化
起草 Skill 修订、开 PR
访问验证器/轨迹
探索员
优化
整合既往资源、读失败维基
写评估仓库
执行员
评估
在探针上跑 Skill
写 Skill 仓库
分析员
评估
分析轨迹、定位失败模式
写 Skill 仓库
报告员
评估
输出脱敏问题报告
写 Skill 仓库

失败维基是优化侧维护的失败摘要库,和 Issue 链互补: Issue 记录单次诊断,维基沉淀跨迭代的失败模式。新调度任务可以先查维基,再决定是否重新打开旧诊断。

实验设计:在"裸网"环…

— 以上为试看内容(约 40%),开通会员后阅读全文 —