Harness Engineering:让 Agent 从“能工作”走向“可交付”

一个聊天机器人主要负责生成回答,而一个 Agent 通常需要完成一项任务:读取资料、调用工具、修改文件、执行测试、处理失败,并在必要时向人请求决策。两者之间的差别,不仅体现在模型是否更聪明,也体现在模型周围是否存在一套能够约束行动、验证结果、保存状态和记录过程的工程系统。

Harness Engineering: Agent = Model + Harness: The 6-Layer Production Playbook

https://drive.google.com/file/d/1wZeuP0t4WOA2COMxcrU-Uv34IutM13UR/view

模型提供理解和推理能力,Harness 则决定模型可以访问什么、能够执行什么、失败后如何恢复、结果是否经过验证,以及整个过程能否被追踪和改进。

一张图理解 Harness

从流程上看,用户首先提出任务目标,模型据此进行规划和推理,并通过工具与上下文完成实际执行。执行结果不会直接被当作最终答案,而是进入测试、校验、权限和质量检查环节。验证通过后,系统才把结果标记为可交付;验证失败时,系统根据错误证据决定修复、重试或升级。

因此,Harness 可以被理解为 Agent 的“运行控制面”。它不替代模型的推理能力,而是为模型提供可执行的工作边界,并把一次性的生成行为转化为一个有反馈、有状态、有停止条件的任务流程。

Prompt Engineering 到 Harness Engineering

2023 到 2024 年,工程重点主要是 Prompt Engineering,即通过调整措辞、示例和指令来影响模型在单轮交互中的输出。2025 年以后,Context Engineering 逐渐成为重要方向,工程师开始关注模型在执行任务时看到了哪些资料、工具、记忆和外部知识。进入 2026 年,报告进一步把关注点扩展到完整运行环境,也就是 Harness Engineering。

工程阶段
主要关注对象
主要优化内容
解决不了的问题
Prompt Engineering
模型如何理解任务
指令、示例、输出格式
无法稳定限制权限和执行成本
Context Engineering
模型能够看到什么
RAG、MCP、记忆、上下文组织
无法单独保证结果正确或动作安全
Harness Engineering
模型如何在环境中行动
验证、重试、权限、状态、日志和告警
需要更多工程建设和维护成本

这三个阶段并不是相互替代的关系。生产级 Agent 仍然需要清晰的 Prompt 和高质量 Context,但这些内容必须被放入一个能够验证和约束执行过程的环境中。Prompt 影响模型的思考方式,Context 影响模型可使用的信息,Harness 影响模型最终能够做什么,以及系统是否能够承受失败。

公开案例

报告引用的案例
报告中的结果
变化来源
应如何理解
GAIA 与 Claude Sonnet 4.5
30.91% 提升至 74.55%
报告称模型保持不变,增加结构化工具、验证循环和状态管理
说明运行环境可能显著影响任务完成率,但还应核对实验设置与评测协议
Terminal Bench 2.0
第 30 名提升至第 5 名
报告称模型不变,调整 Guides、传感器、恢复逻辑和工具配置
说明编码 Agent 的排名不仅取决于模型本身
Codex 生产项目
约 1,500 个自动化 PR、约 100 万行代码、零手写代码
人类主要设计指南、测试、审查和部署环境
说明人的工作可能从逐行编程转向设计 Agent 的工作环境
Hashline 实验
多个模型在同一类编码任务上获得提升
修改工具格式和编辑方式
说明工具接口和交互协议会改变模型的有效能力
Ghostty 的 AGENTS.md
规则逐条来自实际失败
每次错误都沉淀为一条可复用规则
说明项目指南可以成为组织记忆和持续改进机制

当 Agent 需要多步骤执行、调用外部工具或长期运行时,模型能力只是系统的一部分。系统是否能够在失败后获得明确反馈、在风险动作前受到限制、在中断后恢复状态,通常同样决定了最终效果。

Harness 的六层架构

报告将 Harness 拆分为六个层次。Guides 和 Sensors 构成前馈加反馈的控制回路;Agentic Loop 负责实际执行;Memory、Permissions 和 Observability 则构成运行时基础设施。

Guides:执行前的约束

Guides 是 Agent 开始任务前读取的规则和工作说明,可以表现为 AGENTS.md、CLAUDE.md、.cursorrules 或其他项目级配置。它们属于前馈控制,在错误发生之前影响 Agent 的行为。

一个有效的 Guide 不应只是“写高质量代码”“认真完成任务”这类无法验证的要求,而应包含项目名称、语言环境、构建命令、测试命令、Lint 命令、目录边界、禁止操作以及典型失败模式。例如,与其要求 Agent“完成后进行充分测试”,不如明确指定 npm test、触发时机、通过标准和失败后的处理方式。

Guide 的价值在于把一次性的人工纠正转化为后续任务可以复用的规则。如果一个 Agent 曾经误删配置文件,项目就可以增加一条明确的访问边界;如果 Agent 经常修改代码后忘记运行测试,就可以把测试命令和执行时机写入指南。这样,修复不再只存在于某一次对话中。

Sensors:执行后的反馈

Sensors 用于检查 Agent 的产出,是执行后的反馈控制。常见的计算型 Sensor 包括单元测试、类型检查、Lint、Schema 校验和安全扫描;需要语义判断时,也可以使用 LLM-as-judge 或 AI Code Review。

报告建议优先建设计算型 Sensor,因为它们通常更快、更便宜、可重复性更强。例如,接口返回值是否符合 JSON Schema、代码是否能够通过编译、SQL 是否命中只读白名单,都可以优先用确定性规则进行检查。对于“邮件语气是否合适”“研究摘要是否遗漏核心观点”这类难以完全形式化的问题,才更适合加入推理型 Sensor。

LLM-as-judge 并不是天然可靠的裁判。它具有成本、延迟和非确定性,判定结果还可能受到提示词和上下文组织方式的影响。因此,语义评审更适合作为补充信号,而不应在所有场景中替代测试、Schema 或权限检查。对于已经能够形式化的规则,最好逐步迁移为确定性检查。

Agentic Loop:有边界的执行循环

Agentic Loop 是 Harness 的执行核心。它不应被理解为一次模型调用,而应被理解为一个有边界的循环:先规划,再执行;执行后验证;失败时修复或重试;重试耗尽或遇到不可恢复问题时升级给人。

def agentic_loop(task, agent, sensors, budget):
    plan = agent.plan(task)

    for step in plan.steps:
        for attempt in range(budget.max_retries):
            result = agent.execute(step)
            verdict = verify(result, sensors)

            if verdict.passed:
                break

            if not verdict.retryable:
                return escalate(step, verdict)

            result = agent.fix(result, verdict)
        else:
            return escalate(step, "retry budget exhausted")

    return synthesize(plan.results)

循环必须有明确边界。报告给出的示例包括每个步骤最多重试 3 次、单任务最多运行 30 分钟、最多消耗 100K tokens、最多调用 50 次工具,并设置单任务成本上限。具体数值需要根据业务风险和任务类型调整,但“必须有边界”本身是生产化设计的基本要求。

Memory and State:让任务能够恢…

— 以上为试看内容(约 40%),开通会员后阅读全文 —