Harness Engineering:让 Agent 从“能工作”走向“可交付”
一个聊天机器人主要负责生成回答,而一个 Agent 通常需要完成一项任务:读取资料、调用工具、修改文件、执行测试、处理失败,并在必要时向人请求决策。两者之间的差别,不仅体现在模型是否更聪明,也体现在模型周围是否存在一套能够约束行动、验证结果、保存状态和记录过程的工程系统。
Harness Engineering: Agent = Model + Harness: The 6-Layer Production Playbook
https://drive.google.com/file/d/1wZeuP0t4WOA2COMxcrU-Uv34IutM13UR/view
模型提供理解和推理能力,Harness 则决定模型可以访问什么、能够执行什么、失败后如何恢复、结果是否经过验证,以及整个过程能否被追踪和改进。
一张图理解 Harness
从流程上看,用户首先提出任务目标,模型据此进行规划和推理,并通过工具与上下文完成实际执行。执行结果不会直接被当作最终答案,而是进入测试、校验、权限和质量检查环节。验证通过后,系统才把结果标记为可交付;验证失败时,系统根据错误证据决定修复、重试或升级。
因此,Harness 可以被理解为 Agent 的“运行控制面”。它不替代模型的推理能力,而是为模型提供可执行的工作边界,并把一次性的生成行为转化为一个有反馈、有状态、有停止条件的任务流程。
Prompt Engineering 到 Harness Engineering
2023 到 2024 年,工程重点主要是 Prompt Engineering,即通过调整措辞、示例和指令来影响模型在单轮交互中的输出。2025 年以后,Context Engineering 逐渐成为重要方向,工程师开始关注模型在执行任务时看到了哪些资料、工具、记忆和外部知识。进入 2026 年,报告进一步把关注点扩展到完整运行环境,也就是 Harness Engineering。
这三个阶段并不是相互替代的关系。生产级 Agent 仍然需要清晰的 Prompt 和高质量 Context,但这些内容必须被放入一个能够验证和约束执行过程的环境中。Prompt 影响模型的思考方式,Context 影响模型可使用的信息,Harness 影响模型最终能够做什么,以及系统是否能够承受失败。
公开案例
当 Agent 需要多步骤执行、调用外部工具或长期运行时,模型能力只是系统的一部分。系统是否能够在失败后获得明确反馈、在风险动作前受到限制、在中断后恢复状态,通常同样决定了最终效果。
Harness 的六层架构
报告将 Harness 拆分为六个层次。Guides 和 Sensors 构成前馈加反馈的控制回路;Agentic Loop 负责实际执行;Memory、Permissions 和 Observability 则构成运行时基础设施。
Guides:执行前的约束
Guides 是 Agent 开始任务前读取的规则和工作说明,可以表现为 AGENTS.md、CLAUDE.md、.cursorrules 或其他项目级配置。它们属于前馈控制,在错误发生之前影响 Agent 的行为。
一个有效的 Guide 不应只是“写高质量代码”“认真完成任务”这类无法验证的要求,而应包含项目名称、语言环境、构建命令、测试命令、Lint 命令、目录边界、禁止操作以及典型失败模式。例如,与其要求 Agent“完成后进行充分测试”,不如明确指定 npm test、触发时机、通过标准和失败后的处理方式。
Guide 的价值在于把一次性的人工纠正转化为后续任务可以复用的规则。如果一个 Agent 曾经误删配置文件,项目就可以增加一条明确的访问边界;如果 Agent 经常修改代码后忘记运行测试,就可以把测试命令和执行时机写入指南。这样,修复不再只存在于某一次对话中。
Sensors:执行后的反馈
Sensors 用于检查 Agent 的产出,是执行后的反馈控制。常见的计算型 Sensor 包括单元测试、类型检查、Lint、Schema 校验和安全扫描;需要语义判断时,也可以使用 LLM-as-judge 或 AI Code Review。
报告建议优先建设计算型 Sensor,因为它们通常更快、更便宜、可重复性更强。例如,接口返回值是否符合 JSON Schema、代码是否能够通过编译、SQL 是否命中只读白名单,都可以优先用确定性规则进行检查。对于“邮件语气是否合适”“研究摘要是否遗漏核心观点”这类难以完全形式化的问题,才更适合加入推理型 Sensor。
LLM-as-judge 并不是天然可靠的裁判。它具有成本、延迟和非确定性,判定结果还可能受到提示词和上下文组织方式的影响。因此,语义评审更适合作为补充信号,而不应在所有场景中替代测试、Schema 或权限检查。对于已经能够形式化的规则,最好逐步迁移为确定性检查。
Agentic Loop:有边界的执行循环
Agentic Loop 是 Harness 的执行核心。它不应被理解为一次模型调用,而应被理解为一个有边界的循环:先规划,再执行;执行后验证;失败时修复或重试;重试耗尽或遇到不可恢复问题时升级给人。
def agentic_loop(task, agent, sensors, budget):
plan = agent.plan(task)
for step in plan.steps:
for attempt in range(budget.max_retries):
result = agent.execute(step)
verdict = verify(result, sensors)
if verdict.passed:
break
if not verdict.retryable:
return escalate(step, verdict)
result = agent.fix(result, verdict)
else:
return escalate(step, "retry budget exhausted")
return synthesize(plan.results)
循环必须有明确边界。报告给出的示例包括每个步骤最多重试 3 次、单任务最多运行 30 分钟、最多消耗 100K tokens、最多调用 50 次工具,并设置单任务成本上限。具体数值需要根据业务风险和任务类型调整,但“必须有边界”本身是生产化设计的基本要求。