一篇讲透Agent自进化飞轮怎么搭:评测→记忆→落地→控制
作者:yannisyang、ethanytzhou
你的 Agent 上线半年了。回头看看——它比第一天聪明了吗?它可能还在犯三个月前就犯过的错。还在重复三个月前就走过的弯路。还在对三个月前就见过的场景表现得像个新手。半年的线上流量喂过去,它一点经验都没攒下来。问题不在模型不够强。问题在于——没有人给它搭一条从"做过"到"记住"到"变好"的路。这篇文章基于对 Anthropic 递归自改进报告、斯坦福 CS329A 课程、EvoAgentX 等开源框架的深度研读,结合业界多个团队已验证的优秀实践,提炼出一套评测→记忆→落地→控制的四齿飞轮方法论——不是某个环节的最佳实践,而是一个完整的、可落地的、经过验证的工程闭环。
开篇:一个被拆散的系统
最近几个月,我观察到一个普遍且致命的现象:评测、记忆、Self-Improve 这三件事,在大多数团队里是被拆散着做的。
评测团队搭了一套评分系统,跑完打个分就结束了——分数去了周报,没有去到 Prompt 或 Skill 的改进链路里。记忆团队做了一套向量检索,存了一堆对话历史——但召回的东西噪声太高,Agent 反而被干扰了,最后记忆模块被默默关掉。Self-Improve 团队在探索 Skill 自动生成——但生成出来的 Skill 质量参差不齐,没有评测来筛选好坏,没有版本管理来回滚出错的。
每个团队都在认真地做自己那一块。但飞轮没有转起来。
为什么?因为这三件事不是三个独立的功能点——它们是同一个闭环的不同环节。评测是闭环的"眼睛"(感知哪里有问题),记忆是闭环的"大脑"(积累可复用的经验),Self-Improve 是闭环的"手脚"(把经验变成实际的改进),人机协作是闭环的"方向盘和刹车"(确保进化方向不跑偏)。拆开来做,每一块都能说"我做了",但合在一起却不产生复利——因为环节之间的数据通路是断的。
这篇文章要做的事是:把这四个环节当作一个完整的工程系统来讲——它们各自的核心矛盾是什么,应该怎么建设,有哪些坑是前人用血泪验证过必须避开的,最重要的是,它们之间怎么咬合起来形成一个持续转动的飞轮。
读完这一篇,你应该能清楚地知道:自进化系统的每个环节该怎么搭、环节之间该怎么接、落地时该先做什么后做什么、以及哪些地方千万不能踩。
我的核心立场有三个:
① 自进化的瓶颈不是任何一个技术点,而是环节之间的衔接。 评测信号必须能流进记忆和 Skill 更新;更新后必须能被评测验证;验证结果必须能反哺下一轮进化。这条链路断了任何一环,飞轮都转不起来。
② 评测的可信度 > 系统的复杂度。 一个简单但评测可信的系统,远好于一个复杂但评测失真的系统。错误的正反馈会让 Agent 加速开往悬崖。
③ 记忆系统的核心不是存储能力,而是治理能力。 存得多不如治得好——版本控制、主动遗忘、冲突解决、来源溯源,这些"不性感"的治理能力才是决定记忆系统到底帮忙还是添乱的关键。
接下来我会按照飞轮的四个齿——信号(评测)→ 积累(记忆)→ 落地(工程化)→ 控制(人机协作)——逐一展开。每个环节我会讲清楚三件事:核心矛盾是什么、应该怎么建设、有哪些坑必须避开。最后一章讲它们怎么咬合成飞轮、以及从零到一的落地路线。
阅读指引(按你的时间选择路径):
⚡ 10分钟速读:只看每章的 1.1/2.1/3.1/4.1(核心论断)+ 第五章 = 抓住全文精髓 🎯 按需精读:你当前最痛的环节是哪个?直接跳到对应章节深入 📖 完整阅读:从头到尾,约30分钟,获得最完整的方法论体系
但在这之前,先对齐一个被频繁混淆的基础概念。
〇、先对齐概念:自进化改的到底是什么?
为什么是现在?2026年上半年,自进化从"学术概念"突然变成了"工程热点"——斯坦福开了CS329A课程、Anthropic发布了递归自改进报告和Dreaming机制、多个开源框架(EvoAgentX等)出现、业界多个团队跑通了完整闭环。这个领域正从"能不能做"跨越到"怎么做好"的阶段。
"自进化"这个词被用得很滥。有人拿 Self-Refine(让 Agent 多改几版输出)叫自进化,有人拿 Agent RL(训模型权重)叫自进化。它们是完全不同的东西。
我把它分为三层——改什么,就决定了"进化"的持久性和价值:
第一层:Artifacts 迭代——改输出产物。 代码写了三版越来越好、方案改了几稿越来越靠谱。但任务结束,Agent 本身没有任何改变。下次遇到同类问题,它不会比这次更快。这不是进化,这是打草稿。 这一层已经成熟(Self-Refine、Test-time Compute Scaling 等),不是本文讨论的重点。
第二层:Harness 自改进——改 Agent 的配套系统。 记忆、Skill 文件、Prompt、工具配置、工作流——这些改动持久化到文件或数据库,跨会话生效。改一次,后续所有任务都受益。这是当前最具性价比的进化方向,也是本文的主战场。
第三层:Model 进化——改模型参数本身。 通过 Agent RL、自对弈微调将经验写入权重。持久性最强,但成本最高、风险最大。目前仍在研究阶段——MiniMax M2.7 和业界多个团队的调研都在探索这条路,但距离生产落地还有距离。
为什么 Harness 层是主战场? 四个字:即时、可控。 改完 Skill/Prompt 立刻生效,不需要重训模型;改错了一键回滚,不会造成不可逆的损害。实测数据也在佐证——已有落地案例通过 Harness 层进化,迭代次数减少 70%、Token 消耗降低 80%+;在 Agent Memory 场景中 Token 节省超 60%——这些收益全部来自"改配套系统",一个模型参数都没动。
这三层之间并非割裂。Harness 积累的经验可以变成训练数据改进 Model;更强的 Model 又能产出更好的 Artifacts。但在当下这个时间点,Harness 层是投入产出比最高的着力点——接下来四章的讨论都聚焦于此。
一个具体的例子帮助理解三层的区别:
假设你的Agent在处理"日期格式转换"时经常出错。三层分别怎么解决这个问题?
Artifacts层:让Agent在本次任务中多试几次、自我纠错——这次做对了,但下次遇到同样的问题它不会更快。 Harness层:写一条Skill——"遇到日期格式转换时,先识别源格式再用对应的转换函数"——持久化保存,下次遇到直接follow这条Skill,不再犯错。 Model层:用大量日期格式转换的正确样本微调模型——模型本身"学会"了这件事。成本最高,但也最根本。
对于绝大多数团队来说,写一条Skill(Harness层)就能解决问题——不需要微调模型。这就是为什么Harness层是主战场。
一、信号——评测不是打分,是整个飞轮的信号源
飞轮的第一齿。一个看不见自己缺陷的系统,不可能进化。
1.1 我的核心论断:评测在自进化中的角色被严重低估了
大多数团队把评测当作"上线前打个分"——跑一轮,看个数字,报告一下。
在自进化系统中,评测承担的角色远不止于此。 它至少有三重职责:
方向指引——告诉系统"哪里有问题",决定进化朝什么方向走 质量门控——更新 Skill/Prompt 前验证"改了是否更好",防止退化 经验筛选——判断一次执行结果是"好经验"值得沉淀,还是"坏经验"应该丢弃
为什么要强调这三重角色?因为传统评测只需要承担"质量门控"一个职责——上线前跑一轮,达标就放行,不达标就打回。但自进化场景下,评测多了两个全新角色:它要告诉系统"下一步该往哪改"(方向指引),还要判断"这次执行产生的经验值不值得存下来"(经验筛选)。这两个新角色意味着——评测信号会直接流入记忆和Skill更新链路,影响Agent的长期行为。 传统评测打错分顶多是"这次上线了一个不够好的版本";自进化评测打错分是"Agent学到了错误经验并持续污染后续所有任务"。
这三重职责意味着:评测的质量直接决定了记忆的质量、Skill 更新的方向、以及整个飞轮是正转还是反转。
如果评测信号失真——错误的正反馈会让 Agent 学到错误经验,写入记忆和 Skill,污染后续所有任务。这不是"不够好"的问题,是"加速犯错"的问题。 所以我才说:评测的可信度 > 系统的复杂度。在搭任何自动化之前,先确保你的评测信号是准的。
1.2 评测体系的七大核心难题
评测系统面临一个结构性的精度 × 成本 × 覆盖面三难困境——精度高则成本高,成本低则覆盖窄,覆盖广则精度和成本都难控。没有银弹,只能分层组合。
在这个三难困境之下,实践中会碰到七个具体的难题。我把它们按"最致命→最常见"的顺序排列:
难题一:弱评估器——最致命的问题,排在第一位。
用 LLM 给 LLM 打分,听起来很优雅,但评估器自身可能有系统性偏差——偏好长文本(详细但冗余的答案得高分)、偏好特定格式(有编号列表的答案比段落式的得高分)、偏好表面正确性(引用了数据但数据是编造的也得高分)。
这种偏差的可怕之处在于:它不是随机噪声,而是系统性的。一旦评估器有偏好长文本的偏差,Agent 会在多轮进化中"学会"把答案写得越来越长——不是因为长更好,而是因为长能骗过评估器。错误的正反馈比没有反馈更可怕——它让Agent"自信地学到错误经验",相当于加速开往悬崖。
难题二:评什么维度——Agent 的输出不是一个单一答案。
传统任务评测(如NLP benchmark)评的是一个答案对不对。但 Agent 的输出是"推理过程 + 工具调用序列 + 中间结果 + 最终答案"的组合体。只看最终答案会漏掉大量问题:
过程中产生了幻觉但碰巧最终答案对了——这种"虚假通过"下次大概率会翻车 工具调用冗余——做对了但消耗了5倍Token,效率极低 推理链有错误但因为模型记忆力强"记住"了正确答案——换个问法就垮
只评结果不评过程,盲区里的问题永远不会被发现和修复。
难题三:评什么粒度——精度和成本的正面博弈。
评"整个任务成功/失败"(粗粒度)——便宜,但只知道"错了"不知道"错在哪"。评测说"60分",到底是 Prompt 写得不清楚?Skill 逻辑有Bug?还是API调用参数根本就写错了?粗粒度评测无法回答这个问题,导致后续修复只能"瞎改"。
评到"每个step/tool call/决策节点"(细粒度)——精确,能定位到具体哪一步出了问题,但成本指数级增长。实测一轮完整的细粒度评测需要几百到上千次LLM调用。
粒度的选择直接决定了归因的精度,而归因的精度决定了修复能否精准命中。 这里没有标准答案——需要根据场景在两者之间找平衡。我的建议是:日常用粗粒度做快速筛选,对失败的case再用细粒度做深度归因。
难题四:开放式任务难量化。
编程任务可以跑测试、SQL可以对比结果——有确定性的对错标准。但写作、策略规划、方案设计这类任务怎么评?什么叫"好的方案"?十个资深工程师可能给出十个不同的判断。
人工审查是最终权威,但不可扩展——一天审10条还行,一天审1000条不现实。纯LLM Judge又有上面说的弱评估器偏差。这限制了自进化在开放式场景的适用范围——也是为什么当前最成功的自进化案例大多出现在编码和确定性任务领域。
对开放式场景的方向性建议:用偏好排序代替绝对打分(让评估器比较"A和B哪个更好"而非"A几分",排序比打分更稳定);或者AI初筛+人复核的流水线(AI先过滤明显不合格的,人只审有争议的10-20%)。
💡 中间小结: 前四个难题的共性是——它们都在问"评测信号本身是否可信"。弱评估器、维度缺失、粒度不对、标准缺失——本质上都是信号质量问题。接下来的三个难题则是另一类问题:信号的新鲜度和成本。
难题五:评测集漂移——数字漂亮但用户骂街。
业务在变、用户需求在变、环境在变,但评测集往往半年不更新。Agent在旧集上"刷出高分",你看着报告觉得一切很好——但线上用户的真实体验可能在持续下降。
评测集漂移的隐蔽性在于:没人会在评测全绿的时候去怀疑评测本身有问题。等你发现时,可能已经在错误方向上跑了很远。
难题六:预算公平性——你的"进化"可能只是多花了钱。
这是一个容易被忽视但很深刻的问题。很多"自动进化"的性能提升,可能仅仅来自多花了计算预算——比如多次采样然后择优(Best-of-N),或者让Agent重试几次取最好的。这种提升一旦关掉额外预算就打回原形。
真正的进化应该是:在相同的Token预算下,Agent也比之前做得更好。 如果新方案消耗3倍Token才比旧方案好10%——这不是进化,是用钱砸分。评估必须在预算对等条件下进行,否则就是自欺欺人。
难题七:评测成本——每次更新都跑全量评测吃不消。
一轮完整评测可能需要几百次LLM调用。如果每次Skill/Prompt修改都跑全量——Token成本很快失控。但不跑又怕引入回归(原来能做对的做错了)。
这个成本约束直接限制了迭代频率。如果评测太贵导致你一周只能跑一轮——飞轮就转得很慢。解法是分层评测:每次改动跑轻量级回归(核心case),定期跑全量评测(全集)。
1.3 建设要点:怎么搭一套可信的评测体系
一套完整的评测体系需要回答四个问题:用什么手段评 → 评测集怎么管理 → 评完怎么处理结果 → 怎么确保评测器本身可信。 下面逐一展开。
建设要点一:评测手段分层组合,把成本花在刀刃上。
核心原则:能用便宜方法覆盖的场景,不要用贵的方法。 从底层到顶层:
底层:规则/自动化校验。 代码能跑、测试通过、SQL结果匹配、格式正确、响应时间达标——零成本、100%客观、无偏差。这是评测体系的基石,也是大多数团队没有充分利用的层级。很多本可以用规则校验的维度(如格式是否合规、字段是否完整),却在用LLM Judge来评——纯粹浪费。
中间层:LLM-as-Judge + 对照实验。 适用于开放式任务和需要语义理解的评测维度。几条关键原则:
生成模型和评估模型必须分离。 让Agent评价自己的输出,会触发LLM的自洽偏差——它倾向于认为自己是对的。用一个独立的模型实例来评估,或者用不同的模型。 评估 temperature 设为 0。 确保对同一份输出的评价是一致的、可复现的。否则跑两次评测得到不同分数——你信哪个? 输出必须结构化。 用 Pydantic 或 JSON Schema 定义严格的评估维度和打分标准。不要让评估器"自由发挥"——它会在不同维度之间随意漂移。 分维度独立评估。 不要让一个评估调用同时评判"正确性+完整性+格式+效率"——维度越多,每个维度的评估质量越差。拆开来,每个维度独立评。
顶层:人工抽样 + 元评测集。 定期从评测结果中随机抽样,人工做二次评审——比较人的判断和LLM Judge的打分是否一致。不一致率超过阈值就要校准评估器。
同时维护一小批"元评测集"——几十条明确标注为"绝对正确"和"绝对错误"的样本。定期拿出来检查评估器是否还能正确识别。如果评估器连这些极端case都判错了——它的所有打分都不可信,系统应该告警。
建设要点二:评测集的工程化管理——这是最容易被忽视的关键。
大多数团队的评测集管理非常随意:一份文件,想到了就加几条,半年不更新,所有环节共用同一份。这会导致严重的过拟合——多轮迭代后系统在这份集上"刷出高分",但面对新问题直接垮。
我的建议是评测集三分法,严格职责分离:
train 集——只用于诊断阶段:告诉系统"哪类问题失败率最高"、"失败模式是什么"。诊断信息可以暴露给LLM(用于生成修复方案),但不用于"判断谁更好"。 val 集——只用于筛选阶段:判断候选变体"是否比基线更好"。绝不暴露给生成修复方案的LLM——否则LLM会"记住"val集的答案。 test 集——只用于最终验证:独立于前两者,在决定是否上线前做最后一道把关。test集的存在是为了捕捉"在val上过拟合但对新问题无效"的情况。
三者互不泄漏。此外,val集和test集都需要定期更新——把线上新出现的失败样本回流进来,替换掉已经被"刷过"的旧样本。保持分布的新鲜感。
实操指导——怎么划分?
比例建议:train 50-60% / val 20-30% / test 15-20%。train可以大一些(诊断需要足够的失败样本来发现模式),test要保持精简但覆盖面广。 划分维度:按"问题类型"分层抽样,确保每个集里各类型都有覆盖——不能出现"某类问题只在train里有,val和test里完全没有"的情况。 更新节奏:val集建议每2-4周更新一批(替换20-30%的旧样本);test集更稳定,每1-2月更新一次;train集可以持续追加线上新失败样本。
建设要点三:评测的终点不是打分,是诊断归因。
分数告诉你"60分",但不告诉你为什么。没有归因的评测,就像体检只告诉你"不健康"但不告诉你哪里不舒服——你知道有问题,但完全不知道该改什么。
评测完的下一步必须是诊断归因——按失败类型分组、分析失败模式、定位根因。然后根据根因的类型,走不同的处理链路:
系统性问题(多个case出现同类错误模式)→ 触发 Skill/Prompt 更新,同时写入 Playbook 作为"已知方向"供后续实验参考。
偶发个例(只有一两个case出错,没有成模式)→ 写入记忆系统作为"教训/反例",供后续遇到类似场景时召回。
能力缺失(Agent根本没有对应的工具或知识来完成某类任务)→ 触发工具/能力补充需求,可以用 Auto-Research 搜索业界方案。
回归问题(原本能做对的事,更新后做错了)→ 立即回滚到上一版本,标记为 blocked,人工介入排查。
全部通过 → 新版本合入生效,正例加入"金标集"(后续可作为记忆参考或评测集的正样本),进入灰度观测期。
归因的粒度决定修复的精度。 粗归因——"这个 Skill 不好"——导致大面积重写;精细归因——"参数提取阶段的正则表达式漏了YYYY-MM-DD这种格式"——才能做到精准修复而不影响其他逻辑。
一条血泪教训:如果某个场景连续3轮失败率80%+不下降——先停下来查工具实现层(API参数错误、服务端返回异常、数据根本没回来),而非继续在配置层打转。配置层的进化解决不了工具层的Bug——实践中出现过20+轮无效迭代、最终发现根因在工具层而非配置层的案例。
建设要点四:评估器本身也需要被"评测"。
这是一个元问题:谁来评测评测器? 如果你的LLM Judge本身有系统性偏差,它打出的所有分数都不可信——但你如何发现这一点?
我建议四种互补机制:
1.4 Skill 评测的特殊性——证明 Skill "真的有用"比想象中难
Skill 是 Harness 层进化的核心产出物——它把经验沉淀为可复用的操作指南。但Skill写出来之后,怎么证明它"真的有用"而非"碰巧存在"?
这个问题比看起来复杂得多。很多 Skill 看似有效,实际上只是和模型能力碰巧重叠了——Skill的存在只是"恰好和Agent本来就会做的事一样"。
我认为 Skill 评测至少需要通过四层验证,才能说"这个Skill真的有价值":
第一层:对照实验——模型本来就会做吗?
最基本的验证:设计有Skill和无Skill两组对照实验,跑同一批评测case。如果无Skill时Agent也能做对——那Skill的"贡献"是零。很多团队跳过了这一步,导致积累了大量"看起来有用但实际无用"的Skill——它们只是在浪费上下文窗口。
第二层:难度校准——任务是否太简单?
如果评测case本身非常简单(模型不需要任何额外知识就能做对),那无论有没有Skill结果都是对的——对照实验看不出差异。需要设计有一定难度梯度的评测case——让模型在"无Skill时能做对一部分但做错一部分"的水平上,才能看出Skill的增量价值。
第三层:轨迹追踪——运行时真的调用了Skill吗?
一个常见的假象:Skill存在于上下文中,Agent最终给出了正确答案,但实际上Agent根本没有follow Skill里的步骤——它是靠自身能力完成的,Skill只是占了位置没被使用。
验证方法:在运行时追踪Agent的执行轨迹(tool calls、推理链),检查是否出现了Skill中定义的关键步骤。如果Skill写了"先调用API A查询X,再用结果调用API B",但实际轨迹里Agent直接调了API C——说明Skill没有被真正使用。
第四层:路径验证——结果对了,但路径对吗?
最隐蔽的问题:Agent最终答案对了,轨迹里也出现了和Skill相关的调用,但实际上Agent是绕过了Skill定义的关键校验步骤碰巧得到了正确结果。
举个例子:Skill要求"查询完结果后必须做一次格式校验"。Agent查了结果但跳过了格式校验——这次碰巧数据格式是对的,所以最终答案正确。但下次如果数据格式有问题,Agent就会给出错误输出。路径不对意味着下次会翻车——即使这次结果对了。
Skill 评测的工程化建议:
每个 Skill 上线前必须跑对照实验(有/无Skill两组,验证增量价值) 评测case要有难度梯度——太简单的case看不出差异 引入轨迹评测(trace-level evaluation)——不只看最终输出,还要看执行路径 定期复评——Skill可能因为环境变化而过时(API改了、需求变了),需要定期重新验证
这套方法论在业界多个团队的 Skills 轨迹评测实践和综合评测平台(覆盖结果质量+过程质量+安全质量三维度)中都有成熟落地。
1.5 评测体系避坑清单
评测解决了"发现问题"和"判断好坏"——但发现了问题之后呢?好的经验怎么被记住、坏的教训怎么不被遗忘?这就是下一章要解决的问题。
二、积累——记忆系统的核心不是存储,而是治理
飞轮的第二齿。评测给了信号,但信号会随风消散——除非有一个系统把它"记住"。