你的 Agent 又崩了。
它跑了一个终端任务,前三十步一切顺利,然后突然陷入了一个死循环:反复执行同一条命令,反复得到同一个报错,反复重试,直到超时。任务失败,产物缺失,验证器打了个叉。
你打开日志,从头到尾看了一遍,发现问题出在 harness 层面:agent 没有在失败后切换策略,没有在超时前创建产物,没有在探索阶段和实现阶段之间做切换。这些都不是模型能力的问题,是"操作系统"的问题。
于是你又开始改 prompt 了。加一条"如果工具调用失败,请检查错误并调整策略"。加一条"在结束前,请验证结果"。加一条"不要盲目重试相同的操作"。
改完,跑一遍,好了一点。但另一个任务又崩了,崩在一个你没预料到的地方。你又改 prompt。再跑,再崩,再改。
这个循环,每一个做 Agent 开发的人都经历过。
上海AI Lab(上海人工智能实验室)最近的这篇论文,Self-Harness,提出了一个不同的思路:别再你改了,让 Agent 自己改自己的 harness。
Harness:Agent 真正的"操作系统"
先搞清楚一个概念。很多人把 harness 和 system prompt 混为一谈,觉得 harness 就是那一段开场白。不是。
Harness 是围绕语言模型的完整环境中介系统。它包括系统提示,但也远不止于此。它还包含工具定义、运行时控制策略(比如最大工具调用次数、错误重试上限)、验证规则、编排逻辑、故障恢复程序、子 agent 配置、技能定义。
打个比方。语言模型是 CPU,harness 就是操作系统。CPU 再强,如果操作系统调度不行、内存管理混乱、IO 处理低效,整台机器的性能就是上不去。同一个 CPU,换个操作系统,性能可以差几倍。
论文里有一句话很精准:"许多重要的 agent 失败是 harness 层的失败,而非孤立模型响应的失败。"
什么意思?你的 agent 没有在结束前验证产物,这往往不是模型不会验证,而是 harness 里没有"结束前验证"这个运行时规则。你的 agent 陷入了重复无效动作的死循环,同样,harness 里可能缺少"连续 N 次相同错误后重定向"的控制策略。你的 agent 在长上下文中丢失了关键信息,问题也可能出在 harness 里没有"定期回溯关键事实"的编排逻辑。
这些失败,改模型权重解决不了,改 system prompt 的一句话也解决不了。它们需要的是对 harness 这个"操作系统"做结构性的修改。
人类的困境:为什么手工调 harness 不可持续
当前 harness 设计主要有两种范式,但两种都有硬伤。
第一种是人工工程范式。ReAct、Claude Code、Codex、OpenHands、SemaClaw,这些系统的 harness 都是人工设计和调优的。人类专家研究 agent 的失败模式,手动修改指令、工具定义、运行时策略。
这个范式的问题在于扩展性。现在的 LLM 生态是高度多样化的:不同模型家族、不同参数规模、不同训练数据、不同的工具使用习惯。你为 MiniMax 调好的 harness,直接用在 Qwen 上可能效果很差。为 Qwen 调好的,用在 GLM 上又是另一套。每出一个新模型,你就得重新来一遍。
更要命的是,模型在快速迭代。你的 harness 刚调好,下一代模型出来了,行为模式变了,你之前的调优又白费了。人类工程师的速度跟不上模型迭代的速度。
第二种是外部优化范式。用一个更强的 agent 来改进较弱目标 agent 的 harness。比如 Meta-Harness,用源代码、分数、轨迹直接优化 harness 代码。
这个范式的问题是:你需要一个更强的 agent。但前沿模型不是随时都有的,也不便宜。而且,一个"更强的外部 agent"提出的 harness 编辑,可能和目标模型的实际故障模式不匹配。它从自己的视角看问题,但目标模型的弱点和它不一样。
两种范式的共同问题:设计者不是模型自己。 不管是人类还是更强的外部 agent,都是从外部视角来改 harness。但最了解一个模型在什么 harness 下会怎么行为的,恰恰是那个模型自己。
Self-Harness 的核心思想:三层分离
Self-Harness 的方案说起来很简单:让模型自己改自己的 harness。但"怎么做"才是论文真正的贡献。
论文设计了一个精巧的实验架构,核心是三层分离。
模型层不动。语言模型 M 是固定的,不管是 MiniMax M2.5、Qwen3.5-35B-A3B 还是 GLM-5,权重不变,推理参数不变。你不是在微调模型,你是在改模型周围的"脚手架"。
评估器不动。评估器 E 是固定的,它负责判断任务是通过还是失败。这个评估器不是 agent 自己说了算,是外部的、确定性的验证器。agent 不能自己给自己打分。
只有 harness 动。所有的改进都发生在 harness 层面。harness 从初始版本 h₀ 开始,经过若干轮迭代,演化为 h₁, h₂, ..., h_T。每个迭代都是对 harness 的有限编辑,不是推倒重来。
这个设计有几个妙处。
它隔离了改进行为的来源。如果性能提升了,你可以确定地说:这是因为 harness 变了,不是因为模型变了,不是因为评估标准变了。这在实验上非常干净。
它也让自我改进成为模型内在能力的体现。同一个模型,在同样的评估器下,能不能自己改好自己的 harness?如果能,说明这个模型有"自我认知"的能力,它能看到自己的失败模式并提出改进。
还有可审计性。harness 的每一次变更都是明确的、记录在案的、可回溯的。不是黑箱微调,是白纸黑字的"改了这一行指令,加了这一条运行时规则"。
论文引了柏格森的一句话:"对于一个有意识的存在,存在就是变化,变化就是成熟,成熟就是不断自我创造。"Self-Harness 做的就是让 agent 的"操作系统"持续自我创造。
三阶段闭环(一):Weakness Mining
整个 Self-Harness 的流程是一个三阶段闭环,每一轮迭代都走一遍这三个阶段。第一个阶段叫 Weakness Mining。
大多数 agent 自我改进系统处理失败的方式是:记录失败,存一条反馈,下次遇到类似问题时调用。Reflexion 就是这个思路。但 Self-Harness 的做法不一样,它不是简单地记录"这个任务失败了",而是要搞清楚这个失败属于什么类型。
具体怎么做?每个失败的任务实例会产生一条执行轨迹,包括任务输入、agent 的所有操作、最终输出、以及验证器的判定。Self-Harness 的评估系统会分析这条轨迹,提取一个失败签名,包含三个维度。
第一个维度是终端验证器层面的原因(c):验证器为什么拒绝了这次运行?是产物缺失?是超时?是产物格式不对?是 sanity check 没过?
第二个维度是相关 agent 行为的因果状态(q):agent 做了什么导致了这个验证器拒绝?是在该创建产物的时候没创建?是陷入了重复操作?是在探索阶段浪费了太多时间?
第三个维度是抽象 agent 机制(m):这个失败暴露了什么可复用的行为机制缺陷?是"缺乏产物交付意识"?是"没有失败重定向策略"?是"环境持久性缺失"?
三个维度组合起来,构成一个失败签名 φ(rᵢ) = (cᵢ, qᵢ, mᵢ)。然后,失败签名完全一致的案例被聚类在一起。
这个聚类规则是确定性的、验证器锚定的。两个失败案例只有在验证器拒绝原因相同、agent 行为因果相同、抽象机制缺陷相同时,才会被分到一组。
为什么要这么做?因为目标是聚合可能接受相同 harness 层干预的失败。如果两个超时失败的底层原因不同,一个是因为重复操作浪费了时间,另一个是因为下载外部资源太慢,它们需要完全不同的 harness 修改。把它们放在一起没有意义。
论文特别强调了一个设计原则:区分表面症状与可复用失败机制。两个运行可能共享相同的验证器结果(比如都超时了),但因为底层 agent 行为不同,需要不同的 harness 变更。如果你只看验证器结果来聚类,你就会把不该放在一起的案例放在一起,导致后续的 harness 提议打偏。
最终,每个聚类会被整理成一个结构化的失败模式,包含聚类大小、代表性任务实例、共享轨迹症状、验证器证据、推断的 agent 机制。聚类按支持度和估计可操作性排序。
所有这些失败模式被打包成一个证据束 Bₜ。这个证据束不预设任何 harness 编辑方案,它只是把"验证器层面的失败"和"agent 层面的机制"分离开来,让下一阶段的提议者可以针对特定的可复用弱点来设计修改,而不是在粗粒度的失败结果上打补丁。
三阶段闭环(二):Harness Proposal
第二个阶段叫 Harness Proposal。拿到了证据束 Bₜ 之后,需要把失败模式转化为候选的 harness 编辑。
这个阶段有一个关键设计:提议者就是模型自己。不是外部优化器,不是更强的 agent,是同一个固定模型 M,在当前 harness hₜ 下,以"提议者"的角色被调用。
这意味着什么?模型是在自己的"操作系统"里,看着自己的失败记录,提出修改自己"操作系统"的方案。它不是从外部视角来看问题,它是在内部视角下做自我…