Loop Engineering:从提示词工程到智能体闭环设计

提示词越来越长,但效果并没有线性提升。一个需要多步工具调用、外部数据反馈、有条件分支的 AI 任务,靠单次生成几乎不可能稳定交付——哪怕写了 5000 字的 prompt 。

问题不在提示词的长度,而在工程对象本身变了。我们需要设计的不是"更好的一次提问",而是一个能让 Agent 行动、验证、纠错并适时停止的闭环。这就是 Loop Engineering 正在解决的问题。

什么是 Agent 闭环

Anthropic 在《 Building effective agents 》里给过一个简洁的定义: Agent 是"在循环中基于环境反馈使用工具的 LLM"。把工程过程展开,可以分成六个环节:

目标 → 行动 → 环境反馈 → 验证 → 重试 → 停止

Agent 先接收一个目标,调用工具或生成输出,从环境中获取反馈(代码执行结果、 API 返回、检索到的文档),然后验证结果是否符合预期——不符合就重试,符合就停止,多次失败则升级。

这六个环节里,目标来自人类,行动是模型调用工具或生成内容,环境反馈是外部系统返回的结构化信号——比如编译器的错误输出、搜索引擎的返回结果、数据库的写入确认。验证是区分可靠闭环和死循环的核心:它决定结果是否被接受,以及后续迭代应该往哪个方向调整。重试把验证反馈变成下一轮输入,停止则负责在结果合格或预算耗尽时退出。

这个模式看起来像一个简单的 while 循环,但每一环都有工程选择:目标应该多精确才能被模型理解,行动结果应该怎样捕获才算完整,环境反馈是否有足够的信噪比,验证通过和失败的标准分别是什么。

这看起来很简单,但我认为大部分团队低估了"验证"和"停止"这两个环节的设计难度。生成已经越来越便宜,真正稀缺的是"怎么判断做完了"和"怎么在失控前停下来"。

图 1 : Agent 闭环由六个环节构成,其中「验证」和「停止」是可靠性的关键控制点。

验证器是真正的瓶颈

OpenAI 的 Agent 实践指南里提到一个关键判断:只有当你能够用评估建立基线之后,才应该开始优化成本与延迟。放在闭环语境下,这句话的意思是——先定义 "好" 的标准,再让 Agent 去跑。

验证器有三种常见形态:

确定性检查最可靠。测试通过、类型检查通过、 lint 错误清零、 Schema 校验通过——这些都是硬信号,没有歧义。如果任务能用这些信号定义完成,就不应该依赖模型自评。

模型自评( LLM-as-a-judge )是降级选项。 Anthropic 的 evaluator-optimizer 模式用一个模型生成、另一个模型评估,在输出可以清晰表述反馈时有效。但它的可靠性取决于评估标准和模型本身的判断能力,同一个输出在不同上下文里可能被给出不同分数。

混合策略是最实用的路径:用确定性检查覆盖可以编程验证的部分,用模型自评覆盖剩下的主观判断,并且把每次验证结果作为结构化反馈传给下一轮迭代。

验证结果必须能驱动下一步行动。 "不够好"不是有效反馈,"第 3 个接口缺少错误处理,新增的边界条件没有测试覆盖"才是。验证器输出越结构化,下一轮迭代越不容易退化成盲目重试。

还要避免生成器和验证器共享完全相同的盲点。如果同一个模型在同一上下文中先生成、再自评,它很容易沿用原来的错误假设。更稳妥的做法是分离上下文,或者至少让验证器使用独立的 rubric 和证据。对于代码任务,测试运行结果、类型系统和静态分析应该成为第一层,而不是把所有判断交给另一个模型。

LangChain 在《 The Art of Loop Engineering 》里把 Agent 执行环和验证环作为可叠加的两层: Agent 执行任务, grader 对照评分标准检查输出,失败则带着反馈重试。这个模式的代价是延迟和成本,但当质量比速度重要时,这种交换通常是合理的。

图 2 :验证器的可靠性分层——最底层的确定性检…

— 以上为试看内容(约 40%),开通会员后阅读全文 —