💡 目录 💡
01 Agent 优化,为何要观测先行?
02 Agent 应用的观测有什么不同?
03 优化 LLM 和 Agent,是一套方法论么?
04 Agent 优化的挑战有哪些?
05 AgentLoop 如何优化智能体?
06 进化不是万能药
每个时代的软件工程进化,都始于对不确定性的收敛。 传统软件时代,工程师用日志、指标和链路追踪,观测分布式系统的运行状态;云原生时代,容器和微服务提升了系统的复杂度,要求观测指标更加丰富和细颗粒度。到了 Agent 时代,新的不确定性出现了:一个智能体不再只是执行一段确定代码,而是在模型推理&自主规划、工具调用、知识检索、记忆读写中运行,观测需求从原子化的指标演进到 Agent 的完整推理路径(Trajectory)。
01
Agent 优化,为何要观测先行?
我们无法优化看不见的东西。
传统应用的线上问题是相对确定的,例如一段慢查询、一个内存泄漏、一次超时的 RPC 调用。工程师可以通过 APM 工具定位到具体的代码行,修复后重新部署,问题通常就能解决。这种"发现问题、定位根因、修复、验证"的工作流,是建立在系统行为可预测的前提之上的。
Agent 应用打破了这个前提。一个用户请求到达 Agent 之后,系统会经历一段不确定的执行过程:模型可能选择调用工具 A 而非工具 B,可能因为检索到的上下文不同而生成截然不同的回答,也可能在多轮推理中陷入死循环。同一段 Prompt、同一个模型,在不同时间输入时的行为路径都不完全一样。
因此,Agent 观测的往往不是某个指标是否报错,而是关注输出效果,包括答案的准确度和丰富性、推理和行动规划的合理性,甚至 token 消耗的合理性等。
没有观测,这些问题就是黑箱。当我们无法观测 Agent 到底表现如何时,就谈不上如何优化了。因此先把 Agent 的推理路径(Trajectory)完整地记录下来,形成可分析、可回溯的数据基础,然后才能谈评估和优化。
02
Agent 应用的观测有什么不同?
上一节我们讲到 Agent 应用,观测的对象变了,并引入一个新名词:Trajectory(Agent 的推理路径)。
Agent 从接收任务到完成任务,中间经历了哪些思考步骤、调用了哪些工具、检索了哪些知识、做了哪些决策,形成了 Trajectory,这条轨迹不是预先编排的,而是 Agent 在运行时自主决定的。
打个比方:传统应用的观测像调试一台自动售货机,投币、选品、出货,每个环节是确定性的流水线。问题是确定性的,根因是可定位的,修复是可验证的。Agent 的观测像复盘一个棋手的对局。面对同一个对手下两盘棋,走出来的局面可能完全不同。你不能说"第 17 手走错了所以输了",因为第 17 手的选择可能取决于第 12 手的布局,第 12 手又受第 8 手的战略意图影响。
观测的维度变了。
传统观测关注的维度是标准化的,包括延迟、错误率、吞吐量和资源利用率等。Agent 观测需要关注的维度则更加多元,至少包括:推理步骤的合理性(Agent 的规划是否正确)、工具调用的准确性(是否调对了工具、参数是否正确)、检索结果的相关性(检索到的文档是否真正有用)、模型输出的质量(回答是否准确、是否产生了幻觉)、以及 token 消耗与成本效率等。这些都会成为评估器。
阿里云 AgentLoop 内置了多种开箱即用的评估器
这些维度中,有些是可以直接度量的(如 token 数、延迟),有些则需要更复杂的评估方法(如输出质量、推理合理性)。比如阿里云 AgentLoop 是通过引入评估 Agent 来评估,即所谓的 Agent as a Judge。
观测的数据粒度也变了。
传统链路追踪的粒度通常是应用、服务、接口级别。Agent 观测的粒度则是一次对话 sessionId,一次端到端的调用 traceId、一次请求 requestId。每次对话,包含多次端到端调用,一次端到端调用包含多次请求,一次请求又会涉及多个环境变量,包括知识库、工具、上下文、记忆等。要把这些细粒度的数据组织成有意义的观测视图,需要全新的数据建模方法。阿里云 AgentLoop 基于 UModel 自动发现 Agent、Tool、Model 等上下游实体拓扑关系,构建 Agent Ontology 全栈拓扑视图,来还原完整的 Agent 推理路径 Trajectory。
03
LLM 优化和 Agent 优化,是一套方法论么?
模型优化有一套相对成熟的方法论:准备训练数据、微调或 RLHF、在 benchmark 上评估效果。这套方法论的假设是,模型能力是决定系统表现的唯一变量。但随着 Agent = Model + Harness 深入人心,在 Agent 场景下,这个假设就不再成立了。(之前我们在《阿里云上长出的约束基建》,分享过 Harness 的构成,欢迎点击了解更多)
一个 Agent 的最终表现,是模型能力、prompt 设计、工具定义、知识库质量、编排逻辑、记忆策略等多个因素共同作用的结果。同一个模型,在不同的 Agent 配置下,表现可能天差地别。反过来,一个精心设计的 Agent 系统,即使用能力稍弱的模型,也可能在实际业务场景中表现优异。
Agent 的行为具有三个特点:
- 第一,Agent 的任务通常是开放式的,没有唯一正确答案。一个客服 Agent 回答用户问题,只要信息准确、表达得体、解决了问题,就算合格,但"标准答案"是什么?这很难预先定义。
- 第二,Agent 的执行路径是动态的,同一个任务可能走出完全不同的推理轨迹。你无法用一组固定的测试用例覆盖所有可能的路…