Agent开始“自我进化”:会出题、会反思,还会自己长出新技能
当 Agent 自己会出题、自己会答题、还能把答错的经验沉淀成下一次的"技能包"——一个永远在长大的 Agent,到底能走多远?
十几篇论文反复啃读,从"存技能"到"训技能",再到"零数据自训",我们终于摸清了自进化 Agent 这条赛道的脉络。本文将带你深入 Agent 的"经验大脑"——从把经验写进文件,到把经验训进权重,再到完全无人工数据的自我循环,一步步拆解研究路径。
一个完全自主、越用越强的 Agent,有可能实现吗?本文聚合了现有的前沿探索工作,向大家展现这一方向上的最新成果。话不多说,现就开启学习之旅吧——本次文章覆盖自进化 Agent 的三大技术路线、代表工作详解、横向对比、关键洞察等话题。
01 自进化 Agent 介绍
1.1 什么是自进化 Agent?
自进化 Agent(Self-Evolving Agent)指的是一类能够在与环境/用户交互过程中自动积累经验、提炼能力、并在后续任务中复用与提升的智能体。简单来讲:让 Agent 自己越用越聪明,而不是每次都靠人工去喂数据、调提示词、改模型。
它的核心诉求可以拆成三件事:
能存:把交互过程中沉淀下来的有价值的东西(成功模式、失败教训、可迁移技能)存下来; 能用:在新任务中能把之前存下来的东西检索/调用/内化进自己的决策; 能进化:经验本身是动态的,能更新、能合并、能淘汰,避免越攒越乱。
1.2 为什么这件事现在被重视起来了?
回到大模型本身的几个老大难问题:
静态知识:训练完成那一刻起,模型对世界的认知就被冻结了; 上下文有限:再长的上下文窗口也总有边界,多轮交互终究"断片"; 重复犯错:今天教会它的事,明天还会再犯一遍; 训练贵:每次想让模型变强一点,要么 SFT 要么 RL,都得重新跑一遍。
而自进化 Agent 想要的正是绕开这些限制:让经验本身成为模型能力的延伸或更新通道。这件事在学术上不算新概念(早期的强化学习+经验回放就是雏形),但在大模型时代被重新点燃,本质是因为:
LLM 本身具备总结归纳的能力(自己能给自己写笔记了); Agent 形态的产品越来越多,长程交互场景终于有了真实需求; 高质量人工标注数据越来越贵,社区开始探索"少人工 / 无人工"路线。
1.3 三大技术路线一览
我们把目前调研到的工作按"是否更新模型权重"和"是否依赖人工数据"两个维度划成了三类:
| 第一类:经验/Skill 存储型 | |||
| 第二类:RL 训练型 | |||
| 第三类:0 数据自学型 |
简单一句话来理解三类工作的差异:
第一类像是给 Agent 配了一本"工作笔记",模型本身不动,只在需要时翻阅; 第二类则是直接把"工作笔记"上的经验通过 RL 写进模型的权重里,让 Agent 真正"长本事"; 第三类更激进——干脆连"老师"都不要了,让 Agent 之间互相出题互相考试,自己跟自己打。
下面分别展开。
02 第一类:经验/Skill 存储型(不更新模型权重)
特征:不训练、跨会话保留上下文、文件式存储;核心是把经验沉淀为可检索/可复用的"技能(Skill)"。
类比来看,这类工作就像是给 Agent 配了一个"外挂大脑",本体(base LLM)保持冻结,所有的"成长"都发生在外挂里。
2.1 AutoSkill(arXiv: 2603.01145)
TLDR:基础款,动态增删改查 Skill 来防止 Skill 库爆棚。
整体设计是一个非常经典的双环结构:
左环——在线服务(用 Skill) 查询重写:把用户原始问题改写成更适合检索的形式 混合技能检索:语义相似度(Embedding)+ 词汇相关性(BM25)双管齐下 技能注入生成:把检索到的技能渲染为外部记忆上下文,注入到提示词里 右环——技能进化循环(更新 Skill) 技能提取:从用户交互信号中抽取可重用的技能候选 候选技能管理:判断该 Add(新增)/ Merge(合并)/ Discard(丢弃) 版本化合并:语义并集更新,保留技能身份并更新版本号
评估数据集是 WildChat-1M,但没有具体性能指标——论文里只看了抽出来的 skill 数量。这其实是这一类工作最大的痛点:评估缺位。
2.2 EvoSkill(arXiv: 2603.02766)
TLDR:让多个 Agent 分工协作——一个执行、一个反思、一个落地——把"失败"变成"新 Skill",并用 Pareto 前沿机制保证 Skill 库永远精而不滥。
EvoSkill 来自 Sentient 和弗吉尼亚理工的合作工作,主张是把传统 Agent "失败即重试" 的笨办法改造成 "失败即学习" 的进化闭环。它的最大特点是把 Skill 当作一等公民来升级,而不是只在 prompt / code 层面做文字游戏。
三 Agent 分工:
Executor Agent(执行者):拿当前 Skill 库去跑任务,把失败案例完整记录下来——失败原因、轨迹、最终错误结果一起留档。这是后面所有进化的"原材料"。 Proposer Agent(反思者):扮演"诊断医生"的角色。它读完 Executor 的失败记录后,会先做根因分析(为什么失败?是缺技能?还是技能用错了?),再基于过往的反馈历史决定新建一条 Skill还是修改已有 Skill——例如在金融文档 QA 任务里它会自动总结出 "data extraction validation"(数据抽取校验)这样的可复用技能。 SkillBuilder Agent(落地者):把 Proposer 的自然语言提案变成结构化的 Skill 文件夹(含元信息、操作步骤、辅助脚本),并在小样本验证集上跑一轮单元化校验。
核心机制——Pareto Frontier 精英池:
新生成的 Skill 不是无脑入库,而是要跟已有 Skill 在多维指标上比较,只有在至少一个维度上严格优于现有 Skill 的才会进入精英池,否则丢弃或合并。这套机制保证了 Skill 库随着规模增长依然保持"精而不滥"——这也是它跟 AutoSkill 那种"全量保留 + 版本化"做法最大的不同。
评估亮点:
OfficeQA 主任务:基于美国财政部公告(89K 页扫描财务文档)的复杂数值推理任务。基线准确率 60.6% → 进化后 67.9%(+7.3pp),主要靠两条自学到的 Skill 撑场: Data extraction validation —— 解决了之前表格解析时常见的"单元格错位"问题; Quantitative analysis with checkpoints —— 在金融数值计算环节强制加入校验点。 跨任务迁移:在 SealQA 上学到的 search persistence protocol(搜索坚持协议)直接挪到 BrowseComp 任务上,无需重新训练就带来 +5.3pp 的提升——这点跟后面 CoEvoSkills 的"transfer 不如自己 self-evo"结论形成有趣对比,说明只要 Skill 抽象得足够通用,是可以跨任务迁移的,但前提是抽象层级要选对。
PS:虽然叫"训练集",但训练集只用来总结,不更新任何模型。
评论:在第一类工作里,EvoSkill 是"工程化程度"的中间档——比 AutoSkill 多了精英池筛选机制,但比 Hermes 那种带 GEPA 反向进化的还差一截。它的真正价值在于把"失败"明确写进了进化闭环,这也成了后续很多工作(包括 SkillRL 的 failure trajectory distillation)的直接灵感来源。
2.3 MemSkill(arXiv: 2602.02474)
TLDR:之前两个工作针对用户指令;MemSkill 只针对操作 Memory 的 Skill 做自进化。
这个工作有意思的地方在于它把组件拆得很细:
Retriever:基于 Qwen0.6B Emb 的相似度计算 Controller:MLP 结构,接受 RL 训练(注意这是这一类里少见的"有训练"环节) Executor Designer Base LLM:全部冻住
它有两个并行的更新 Loop:
Controller 更新:Retriever 抽取 Memory + 对话 → Controller 选 Skill → Executor 更新 Memory 库 → 用下游 F1 / Success Rate 作为 reward 训练 Controller Skill 库更新:训练中遇到的 Hard Case 交给 Designer 更新 Skill 库
亮点——Transfer Evaluation:
在 LLaMA 上训练所得 Controller & Skill 迁移到 Qwen 上仍然有效; 在 LoCoMo 上训练所得 Controller & Skill 迁移到 LongMemEval 上仍然有效。
由于 Base LLM 不动,仍归为"无训练"类。但 MemSkill 给前面两篇工作(AutoSkill / Hermes Agent 没有性能评估)提供了一条参考思路:在训练集上构建 Skill,在测试集/其他数据集的测试集上评估。当然,这种做法下"喂给 Agent 的样本顺序"就变得很重要。
2.4 CoEvoSkills(arXiv: 2604.01687v2)
TLDR:给每条新总结的 Skill 配一个"考官"(Verifier),生成的 Skill 必须先通过考试才能进库;通不过就带反馈打回,让 Generator 重写——这是把软件工程的"单元测试"理念搬到了 Skill 进化里。
CoEvoSkills 想解决的是前面几篇工作的一个老大难问题:Skill 总结出来到底靠不靠谱? AutoSkill / EvoSkill 都是"生成完了直接入库",质量基本靠 LLM 自觉。CoEvoSkills 的回答是:不能靠自觉,得有验证闭环。
核心组件——Generator + Verifier 双子星:
Skill Generator:从执行轨迹里提炼候选 Skill。除了写出 Skill 本身(描述 + 步骤),还要同步生成对应的单元测试(输入样例、期望输出、验证逻辑)。 Skill Surrogate Verifier:在一个隔离的 sandbox 环境里跑 Generator 写的 Skill 与单元测试,返回结构化验证反馈(不是简单的 pass/fail,而是带"失败原因"和"建议修改方向"的自然语言反馈)。 Co-Evolution Iteration(共进化迭代):Skill 与 Test 同时进化——这跟传统软件开发里"先写测试再写代码"的 TDD 有点像。如果 Skill 多次都过不了 Test,可能是 Test 本身写得不合理;反过来如果 Test 太宽松导致烂 Skill 也进库了,下游评估时就会暴露出来。两者互相牵制,逐步收敛到"高质量 Skill + 高严谨度 Test"的稳态。
两阶段验证:
Surrogate 验证(廉价):内置的 Verifier 直接给反馈,跑得快、能快速迭代; Oracle 验证(昂贵但权威):通过 Surrogate 的 Skill 还要在真实 LLM Agent(论文中用了 Claude Code / CodeX 等)上跑端到端任务,**只有真的解决了任务才算"进化成功"**。如果 Oracle 测试失败,整条 Skill 直接打回。
亮点结论——Self-evo 优于 Cross-model Transfer:
论文做了一组很有意思的对照实验:把强模型(Opus 4.6)self-evo 出来的 Skill 直接 transfer 到弱模型(Haiku 4.5、Qwen3-Coder、DeepSeek V3、Mistral Large 3)上,跟让弱模型自己 self-evo 比较——结果是:
self-evo(强模型自己用自己的 Skill):Opus 4.6 从 30.6% → 71.1%(+40.5),GPT-5.2 从 29.6% → 69.8%(+40.2); cross-model transfer:把 Opus 4.6 的 Skill 给到弱模型,提升从 +35.4 到 +44.1 不等,但绝对值都明显低于让模型自己 self-evo(如 Mistral Large 3 才到 43.1%)。
这个观察的含义是:Skill 跟模型本身的"风格"是耦合的——强模型生成的 Skill 在强模型自己上效果最好;强迁到弱模型上,弱模型未必能完整地"读懂并执行"那些精巧的步骤。这点对工程界的启示很大:与其花大钱让 GPT-5 / Claude 4.6 给你的产品蒸馏 Skill,不如让产品自己用的小模型来 self-evo——前者贵且效果未必更好。
PS:虽然有"信号",但实际上不涉及训练,仅仅是驳回 Generator 创建的 Skill。
评论:CoEvoSkills 的"测试驱动 Skill 进化"思路在第一类里独树一帜,本质上是把 Verifier 当成 "便宜的 reward model" 用——这跟第二类工作里训练 Curator 的逻辑已经很接近了,只差最后一步:把 Verifier 也训起来。
2.5 SE-Agent(arXiv: 2508.02085)
TLDR:与其反复"自我反思"在同一条轨迹上小修小补,不如一次跑出多条轨迹,让它们之间互相借鉴、互相打磨——SE-Agent 把 Agent 自进化从"单线程深度修补"切到了"多线程横向融合"。
SE-Agent 来自 OPPO 的 OpenSearch-AGI 团队和复旦大学等机构,被收录于 NeurIPS 2025。它瞄准的是前面所有 self-refine / ReAct 类工作的共同短板——单轨迹反思的视野太窄。当一条轨迹整体走偏的时候(例如一开始就选错了策略),无论怎么 reflection 都救不回来;只有跳出当前轨迹,从多条不同策略的轨迹里学习,才能突破"局部最优"。
完整五阶段流程:
多策略轨迹生成(Multi-Strategy Generation):用不同的"性格"采样 N 条轨迹。论文里给了 5 种典型策略—— P-greedy(贪心快出)、P-tests-first(先写测试)、P-linter-aware(关注代码风格)、P-defensive(防御式编程)、P-minimal(最小可行)。同一道题,每种策略得到的轨迹完全不同,犯的错也不同。反思修订(Revision):对每条轨迹独立做一遍传统 self-refine——找到执行偏差点,针对性修正。这一步是"纵向"的(深耕单条轨迹)。 质量过滤(Quality-based Filtering):用一个综合评分函数 Reward(t,T…