当我们谈 Agent 进化的时候,通常涵盖两类场景。一种是员工办公场景,通过 Coding Agent 或通用 Agent 的记忆、协作风格、用户画像等能力,让 Agent 越用越聪明、越用越懂用户。另一种是企业的业务场景,比如企业对外提供的客服 Agent,对内提供智能分析的 Data Agent。关于前者,Anthropic 发布的 Economic Index 给过一个有意思的对照,使用 Claude 6 个月以上的老用户,对话成功率比新用户高 3–5 个百分点。可见,Coding Agent、通用 Agent 已经在加速进化,用户越用越喜欢。而后者,仍处于各个企业手搓观测、评估、优化,各自积累业务实践经验的阶段。本文要聊的是后者。
01企业手搓 Agent 进化飞轮的现状
Cloud Native
进化飞轮通常分为数据采集、数据集构建、效果评估、进化资产沉淀 4 个步骤。虽然模型和 Agent 进化飞轮的流水线类似,但影响 Agent 行为的因素更多。
模型任务,是指一次模型的调用,包括对模型的输入和模型的输出。Agent 任务,则是一条带拓扑结构的线,甚至是一张网络图,因为除了模型调用,还有检索、规划、工具调用、浏览器访问、中间状态、反思和决策、回退,甚至还有多个并行子任务等。
由于影响 Agent 行为的因素更多,导致进化飞轮带来的新工程难点,是以往的 LLM-as-Judge 的范式所难以应对的。
▍数据采集难:单点变拓扑,schema 不再稳定
LLM-as-Judge 的范式采集的是 (prompt, completion) 二元组,schema 干净,存日志就够。Agent 行为评估要采集的是一条 trajectory(执行轨迹):每一步的输入输出形状都不一样。检索返回 chunk 列表,工具返回结构化 JSON,浏览器返回 DOM 片段,模型返回 token 流,要把这些异构事件按时序和因果关系串起来,不丢中间状态、不丢父子调用关系,再加上 token 用量、延迟、错误码,存储和埋点成本是 LLM-as-Judge 的几十倍。另外,OpenTelemetry 的 GenAI semconv 还在草案阶段,目前没有事实标准,企业基本都在自己造轮子。
▍数据集构建难,一条轨迹是不是好的数据样本,定义更难
LLM-as-Judge 从日志里挑 prompt-completion 对,按 token 长度、置信度、人工反馈一筛就行。trajectory(执行轨迹),包括:
- 规划:它怎么把任务拆成子目标的;
- 检索:grep 了哪些文件、搜了哪些关键词;
- 工具调用:每一次 git / grep / 测试运行的入参、出参、耗时;
- 中间状态:每一步执行完,它对任务的理解更新了什么;
- 反思 / 决策分支:它在哪一步改了主意,为什么改;
- 模型调用:每次调 LLM 的 prompt、response、token 消耗;
- 最终输出:那个 diff 提交。
把这一整串顺序串起来,就是这次任务的 Trajectory。
但是“这条轨迹是好样本吗”,人肉很难定义。例如,最终结果对,但中间走了三个错误工具。最终结果错,但前 5 步推理是对的,这 5 步要不要单独抽出来当训练信号?trajectory 里到包含了返回的真实业务数据(订单、客户名、内部接口响应),脱敏不是字符串替换那么简单,要做结构化脱敏才能进数据集等等。
▍效果评估难,单点打分失效,需要分层
对于 LLM-as-Judge,都是对一个点打分。Agent 时代要分三层评:step-level(每一步的工具调用是否正确)、trajectory-level(整条路径是否合理,有没有绕路、回退、死循环)、outcome-level(最终交付是否满足要求)。
三层结论可能完全不一致。
▍沉淀进化资产难,经验很难被标准化
模型的资产形态非常清楚:SFT 数据、DPO pair、LoRA 权重,行业有共识,工具链成熟。
Agent 时代的资产形态目前还在分化期,可以回流成 prompt 改进,可以构造成 few-shot 经验库,可以做成 episodic memory,还可以抽成可复用的 skill 或子流程。每一种形态消化 trajectory 的方式都不一样,也都没有像模型权重那样的统一容器。这导致企业即使把前三步做完,最后一步资产怎么落、落到哪、谁来消费,往往还是个待定项。
因此,Agent 上线了、服务的用户越来越多了,但企业拥有的可进化资产可能并没有变多。这已经成为企业智能体进化的真实状态。
02阿里云 AgentLoop 的实践
Cloud Native
AgentLoop 是阿里云推出的面向企业级智能体的一站式自进化平台,提供 Agent 全栈观测与审计、Agent 评估与实验、Agent 资产管理与持续优化等核心能力,帮助企业构建智能体进化数据飞轮。
针对企业智能体构建进化飞轮的难点,AgentLoop 的应对方案是:
▍第一环:全栈观测分析:完整的 Trajectory 执行轨迹
AgentLoop 通…