什么是 Harness 工程?从 AI Agent 到递归自我改进的完整路径
递归自我改进(recursive self-improvement,RSI)的概念可以追溯到 I. J. Good(1965)[1]。他将“超智能机器”定义为一种能够在所有智力活动上超越人类,并设计出更好的机器来改进自身的系统。Yudkowsky(2008)[2] 用“递归自我改进”描述了一种特定的反馈循环:AI 利用当前的智能,改进产生这种智能的认知机器。
在现代 AI 中,这种反馈循环可能表现为模型直接重写自身权重;更广义地说,也可能表现为模型改进训练流水线和部署系统,进而让后继模型在具有经济价值的任务上获得更好的性能。前沿实验室的 AI 研究开发速度已经显著加快(Anthropic[3];OpenAI[4])。
我特意提到“部署系统”,因为原始模型与真实世界上下文之间的那一层,似乎和模型自身的智能同样重要(也就是预训练之后紧接着进行的评测)。Harness 是 AI 部署的重要组成部分,Claude Code 和 Codex 等成功的编码 Agent 产品就是例子。Harness 是围绕基础模型构建的系统:它编排执行过程,决定模型如何思考和规划,调用工具并采取行动,感知和管理上下文,存储产物,以及评估结果。
本文聚焦于 Harness 工程研究,以及它如何促成 RSI。近期大量关于自动研究、自我改进 Agent 和进化式程序搜索的工作,都可以围绕这个问题来组织。模型自博弈、合成数据、测试时训练,以及持续学习这一更广泛的主题,也符合 RSI 的愿景(例如 Yuan 等人,2024[5]、Chen 等人,2024[6]、Zhao 等人,2025[7]、Choi 等人,2026[8]),但它们不是本文的重点。
Harness 设计模式
与早期的 Agent 框架[9]——“Agent = LLM + memory + tools + planning + action”——相比,Harness 工程还加入了工作流设计(例如循环工程)、评估、权限控制和持久状态管理。它已经不只是提示词模板,而更接近运行时与软件系统设计:模型如何观察、行动、记忆、自检和改进。
设计应当有意保持简单、通用,以便实现泛化;同时可以借鉴已有的软件工程实践,利用预训练中获得的知识。操作系统与 Harness 之间也存在很强的类比。和操作系统类似,Harness 应封装复杂逻辑,同时保持简单的接口。配置、工具接口以及其他协议也可能逐步在行业内标准化。
模式 1:工作流自动化
定义一个让模型能够运行、测试和迭代的工作流,是实现自动化的关键设计。Karpathy 的 autoresearch 仓库[10] 是构建这类工作流的清晰例子。常见工作流遵循一个面向目标的循环:规划、执行、观察/测试、改进,再次执行,直到目标达成。这个过程也可以主动向用户请求澄清,例如确认任务规格或执行偏好。
简化的 Codex Agent 循环:Agent 调用工具,而工具响应会影响模型下一次生成。(图片来源:OpenAI Codex Agent 文章[11])
工作流图还强调,模型应当通过 Agent 运行时分析自己的轨迹和失败案例,并据此迭代进展,而不是依赖静态提示词模板。
模式 2:把文件系统作为持久记忆
长时域 Agent 系统中反复出现的一种模式,是对丰富状态和产物进行简单控制。Harness 应把持久状态保存在文件中,让上下文承担更适合它的工作。长时域 Agent 运行过程中,实验日志、代码差异、论文摘要、错误追踪和过去的运行轨迹,往往会增长到远超模型训练所适应的上下文窗口的长度。
学习如何读取、写入和编辑文件系统(通常通过 bash 命令完成)是 LLM 的基础能力。因此,用文件这一简单形式管理持久记忆,自然能够从核心模型能力的进步中受益。
模式 3:子 Agent 与后端任务
Harness 可以启动多个子 Agent 并行执行,并监控后端任务。当主 Agent 需要搜索多个假设、并发运行实验,或委派彼此隔离的子任务而不污染主上下文时,这种方式很有用。父 Agent 随后需要一个小型进程管理器:启动任务、检查日志、取消失败运行,并把结果合并回主 Agent 线程。
关键设计选择是让并行过程显式且可检查。如果子 Agent 的输出只存在于临时聊天上下文中,它们很快就会过时并隐藏起来。如果输出被保存为文件、日志和状态记录,模型就能在中断后恢复,并根据自己的执行历史进行推理。
案例研究:编码 Agent Harness
Claude Code、Codex、OpenCode 以及 Cursor 风格 Agent 的主流编码 Agent 核心接口已经趋于稳定。它们通常采用类似下面的循环:
借助一组工具,编码 Agent 能够在给定仓库中开发和调试问题,就像人类开发者借助 IDE 工作一样。
(这不是完整列表,仅用于演示。感兴趣的话,可以阅读这篇文章[12]。)
glob、grep、ls;文件读取:read、read_many;文件修改:write(创建完整新文件)、edit(精确字符串替换)、multi_edit、apply_patch(应用结构化补丁/差异) | |
bash、PowerShell | |
lspgit_status、git_diff、git_commit 等 Git 工具 | |
web_searchweb_fetch、浏览器工具 | |
CronCreate、CronDelete、CronList | |
spawn_agent、resume_agent、wait_agent、list_agents、close_agent、interrupt_agent 等 |
Harness 层与核心智能?
很难预测未来 RSI 会在多大程度上依赖 Harness 工程,但 RSI 在近期不太可能从模型直接重写自身权重开始。我对实际近期路径的判断是:
Harness 工程会朝着元方法论的方向发展,也就是改进“如何得到更好答案”的机器,而不只是改进答案本身。Harness 系统自身会成为优化目标,启发式规则减少,通用机制增加。 成熟的 Harness 反过来会支持模型自我改进循环中的自动研究;更聪明的模型则会帮助 Harness 避免过度工程化,让整个系统保持可持续。
最终,许多 Harness 改进可能会被内化到核心模型行为中,但与外部上下文和工具的接口应当保留下来。提示词工程[13] 已经呈现出较弱版本的这一模式:随着指令微调和模型推理能力提升,手工提示技巧的重要性下降了,但明确目标、约束、上下文和评估标准的需求并没有消失。
Harness 优化
Harness 系统中被优化的对象大致经历了这样的演进:指令提示词[13] → 结构化上下文 → 工作流 → Harness 代码 → 优化器代码。随着模型变得更智能、更强大,我们会转向更复杂的目标和更通用的方法。
上下文工程
随着 Agent 任务的时域显著拉长,把所有工具响应和模型生成内容简单追加到上下文中,很快就会失控。上下文管理是一层系统,用于为 LLM 构建更结构化、更简洁的上下文,并管理持久状态。长上下文研究无疑会继续进步,但在当前阶段,长上下文智能与上下文工程有时仍然交织在一起。
Agentic Context Engineering(ACE;Zhang 等人,2025[14])把上下文视为不断演化的作战手册,而不是一份越来越长的提示词。它包含三个组件,用来维护一份由要点构成的上下文手册;每个要点都有标识符和描述。
Generator(生成器):生成任务轨迹,并参考这些要点。 Reflector(反思器):从成功和失败的轨迹中提炼洞见。 Curator(整理器):用增量式、条目化的内容更新结构化上下文。
Agentic Context Engineering(ACE)框架。(图片来源:Zhang 等人,2025[14])
为了避免迭代重写时出现上下文坍缩和简洁性偏差,ACE 的一个关键设计选择是:整理器不重写一整块提示词。它输出的是一组结构化、条目化的要点,形式为(标识符、描述);这些要点再通过确定性逻辑合并到结构化上下文日志中。上下文条目会定期被细化和去重。
ACE 能够从运行轨迹中学习洞见,推动我们走向自管理记忆;但更新规则和整体工作流仍然是手工设计的。为了进一步走向自我改进循环,Meta Context Engineering(MCE;Ye 等人,2026[15])把机制(如何管理上下文)与产物内容(上下文里有什么)分开,在元优化层面运行技能演化,在基础层面优化上下文。
MCE 技能 定义了上下文函数 ,并把输入 映射为上下文 ,其中:
是静态组件(提示词、知识库、代码库)。 是动态算子(搜索、选择、过滤、格式化)。
双层优化的目标,是在训练数据上给定技能 时找到最佳上下文 ;外层循环则寻找能在验证集上带来最佳性能的技能:
技能数据库记录过去技能、上下文函数和评估指标的历史 。元层 Agent 会对已有技能执行面向任务 的 Agentic crossover[16],生成新技能:。
随后,基础层上下文工程师执行技能 ,并在当前技能的引导下,从运行反馈 中学习上下文函数:。
Meta Context Engineering(MCE)框架:元层技能演化搜索上下文管理机制,基础层优化任务上下文。(图片来源:Ye 等人,2026[15])
MCE 没有像 ACE 那样强制规定上下文的组织启发式规则。它使用自由形式的技能存储任务最重要的知识,并让技能与技能条件化的上下文一起迭代演化。从实现角度看,上下文函数 会被实例化为专用目录中的一组文件,其中同时包含静态组件(skill.md)和动态组件(上下文与数据运行轨迹)。元层和基础层优化都在 Agentic 编码环境中执行,并使用一组标准工具:
Meta-Harness(Lee 等人,2026[17])又向下深入了一层:被优化的对象,是决定哪些信息应当被存储、检索并呈现给模型的代码。“Meta-”这个前缀表示它是一个用于优化 Harness 的 Harness。
Meta-Harness 外层优化算法。(图片来源:Lee 等人,2026[17])
负责创建新 Harness 的提议器本身就是一个编码 Agent,最终输出是一组位于 Pareto 前沿上的 Harness 候选方案。
全部执行历史都可以通过文件系统访问,因此编码 Agent 使用 grep或cat等命令读取历史,而不是把所有内容一次性塞进一个提示词上下文。提议的 Harness 是文件系统中的一个字典,其中包含自身的源代码、分数、运行轨迹和状态更新。 Meta-Harness 循环会反复创建新的 Harness,只保留符合条件的方案。
Meta-Harness 的性能:左图是少量迭代的文本分类,右图是 TerminalBench-2。注意,TerminalBench-2 实验中的搜索从 Terminus-KIRA 和 Terminus-2 初始化,这两个都是很强的 Harness。(图片来源:Lee 等人,2026[17])
重要的启示很清楚:一旦 Harness 设计成为可执行的搜索空间,强大的编码 Agent 就可以利用人类工程师所使用的同一个设计空间。
工作流设计
Harness 工程中的工作流设计,可以由领域专家手工完成。以自动研究为例,人们已经提出并测试了各种框架。AI Scientist 系统(Lu 等人,2026[18])构建了一条流水线,用于提出研究想法、编写代码、运行实验、分析结果、撰写论文和进行同行评审。Meng 等人(2026)[19] 把可验证性作为 ScientistOne 的核心设计约束:每个主张(引用、数字、方法论和结论)都必须追溯到证据来源,并接受 Chain-of-Evidence 检查。
AI Scientist 的想法生成、实验、论文写作和评审流水线。(图片来源:Lu 等人,2026[18])
Autodata Agent(Kulikov 等人,2026[20])被设计成一名数据科学家,用于生成训练数据和评估数据。主 Agent 管理一个提出问题的 challenger、一个能力较弱的 solver、一个能力较强的 solver,以及一个 verifier/judge,目标是合成难度“恰到好处”的数据:强 solver 能够成功,而弱 solver 会失败。
在 Autodata 中,challenger 的提示词会根据 solver 和 verifier 的反馈迭代更新。局限在于,合成任务只用于微调弱 solver,而不是强 solver;如果循环无法迭代改进强模型,那么它更像是在生成的提示词分布上进行间接蒸馏,RSI 的味道就淡了许多。
Autodata 围绕 challenger、solver 和 verifier 角色生成合成训练数据与评估数据的 Agent 工作流设计。(图片来源:Kulikov 等人,2026[20])
工作流的设计空间极其庞大。自然地,我们可以把工作流设计视为一个搜索问题;这样一来,就应该能够通过算法寻找优秀方案,而不只是依靠手工设计。沿着这一方向,