Harness 与 Agent 工程 · 日志、监控与故障定位 · 2026-07-31

阿里云刚发布的 AgentLoop 是什么?

阿里云AgentLoop深度解析Agent优化核心逻辑,从观测先行到推理路径,揭秘智能体进化关键。 核心内容:

  1. Agent优化需观测先行的原因
  2. Agent应用观测的特殊性(Trajectory)
  3. 阿里云AgentLoop优化智能体的方法

💡 目录 💡

01 Agent 优化,为何要观测先行?

02 Agent 应用的观测有什么不同?

03 优化 LLM 和 Agent,是一套方法论么?

04 Agent 优化的挑战有哪些?

05 AgentLoop 如何优化智能体?

06 进化不是万能药

每个时代的软件工程进化,都始于对不确定性的收敛。 传统软件时代,工程师用日志、指标和链路追踪,观测分布式系统的运行状态;云原生时代,容器和微服务提升了系统的复杂度,要求观测指标更加丰富和细颗粒度。到了 Agent 时代,新的不确定性出现了:一个智能体不再只是执行一段确定代码,而是在模型推理&自主规划、工具调用、知识检索、记忆读写中运行,观测需求从原子化的指标演进到 Agent 的完整推理路径(Trajectory)。

01

Agent 优化,为何要观测先行?

我们无法优化看不见的东西。

传统应用的线上问题是相对确定的,例如一段慢查询、一个内存泄漏、一次超时的 RPC 调用。工程师可以通过 APM 工具定位到具体的代码行,修复后重新部署,问题通常就能解决。这种"发现问题、定位根因、修复、验证"的工作流,是建立在系统行为可预测的前提之上的。

Agent 应用打破了这个前提。一个用户请求到达 Agent 之后,系统会经历一段不确定的执行过程:模型可能选择调用工具 A 而非工具 B,可能因为检索到的上下文不同而生成截然不同的回答,也可能在多轮推理中陷入死循环。同一段 Prompt、同一个模型,在不同时间输入时的行为路径都不完全一样。

因此,Agent 观测的往往不是某个指标是否报错,而是关注输出效果,包括答案的准确度和丰富性、推理和行动规划的合理性,甚至 token 消耗的合理性等。

没有观测,这些问题就是黑箱。当我们无法观测 Agent 到底表现如何时,就谈不上如何优化了。因此先把 Agent 的推理路径(Trajectory)完整地记录下来,形成可分析、可回溯的数据基础,然后才能谈评估和优化。

02

Agent 应用的观测有什么不同?

上一节我们讲到 Agent 应用,观测的对象变了,并引入一个新名词:Trajectory(Agent 的推理路径)。

Agent 从接收任务到完成任务,中间经历了哪些思考步骤、调用了哪些工具、检索了哪些知识、做了哪些决策,形成了 Trajectory,这条轨迹不是预先编排的,而是 Agent 在运行时自主决定的。

打个比方:传统应用的观测像调试一台自动售货机,投币、选品、出货,每个环节是确定性的流水线。问题是确定性的,根因是可定位的,修复是可验证的。Agent 的观测像复盘一个棋手的对局。面对同一个对手下两盘棋,走出来的局面可能完全不同。你不能说"第 17 手走错了所以输了",因为第 17 手的选择可能取决于第 12 手的布局,第 12 手又受第 8 手的战略意图影响。

观测的维度变了。

传统观测关注的维度是标准化的,包括延迟、错误率、吞吐量和资源利用率等。Agent 观测需要关注的维度则更加多元,至少包括:推理步骤的合理性(Agent 的规划是否正确)、工具调用的准确性(是否调对了工具、参数是否正确)、检索结果的相关性(检索到的文档是否真正有用)、模型输出的质量(回答是否准确、是否产生了幻觉)、以及 token 消耗与成本效率等。这些都会成为评估器。

阿里云 AgentLoop 内置了多种开箱即用的评估器

这些维度中,有些是可以直接度量的(如 token 数、延迟),有些则需要更复杂的评估方法(如输出质量、推理合理性)。比如阿里云 AgentLoop 是通过引入评估 Agent 来评估,即所谓的 Agent as a Judge。

观测的数据粒度也变了。

传统链路追踪的粒度通常是应用、服务、接口级别。Agent 观测的粒度则是一次对话 sessionId,一次端到端的调用 traceId、一次请求 requestId。每次对话,包含多次端到端调用,一次端到端调用包含多次请求,一次请求又会涉及多个环境变量,包括知识库、工具、上下文、记忆等。要把这些细粒度的数据组织成有意义的观测视图,需要全新的数据建模方法。阿里云 AgentLoop 基于 UModel 自动发现 Agent、Tool、Model 等上下游实体拓扑关系,构建 Agent Ontology 全栈拓扑视图,来还原完整的 Agent 推理路径 Trajectory。

03

LLM 优化和 Agent 优化,是一套方法论么?

模型优化有一套相对成熟的方法论:准备训练数据、微调或 RLHF、在 benchmark 上评估效果。这套方法论的假设是,模型能力是决定系统表现的唯一变量。但随着 Agent = Model + Harness 深入人心,在 Agent 场景下,这个假设就不再成立了。(之前我们在《阿里云上长出的约束基建》,分享过 Harness 的构成,欢迎点击了解更多)

一个 Agent 的最终表现,是模型能力、prompt 设计、工具定义、知识库质量、编排逻辑、记忆策略等多个因素共同作用的结果。同一个模型,在不同的 Agent 配置下,表现可能天差地别。反过来,一个精心设计的 Agent 系统,即使用能力稍弱的模型,也可能在实际业务场景中表现优异。

Agent 的行为具有三个特点:

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/LargeLanguageModel/2026073173914.html