让 Agent 越用越准、成本越来越低:AgentLoop 的 Agent 经验自进化闭环
传统软件追求确定性:在相同版本、相同输入和相同环境下,系统应当给出稳定、可预测的结果。企业可以通过功能测试、回归测试和发布门禁,建立清晰的上线标准。
AI Agent 则天然具有不确定性。模型采样、上下文变化、任务规划、工具返回和长链路执行都可能影响结果。同一个问题连续运行多次,Agent 可能选择不同的工具、走不同的路径,甚至给出不同的答案。一次评测通过,不代表下一次仍然通过;平均表现不错,也不代表线上不会出现不可接受的质量低谷。
当 Agent 开始进入运维、研发、数据分析和企业业务流程,企业真正关心的归根到底是两个结果:
Agent 现在到底做得准不准,还有多少提升空间? 不只是看一次演示或平均分,而是判断它在真实业务中的任务成功率、首次完成率和多次执行的稳定性能否达到上线要求;哪些场景容易失败,能否通过工程手段继续改善。
达到这样的准确率,需要付出多少成本? 每完成一个成功任务,需要消耗多少 Token、时间、工具调用和人工介入;与人工处理或传统系统相比,这笔投入是否值得。
Agent 的准确率是否达到业务要求、存在的问题是否有明确的提升空间,以及整体成本是否可以接受,决定了它能否从 Demo 走向生产,从局部试用走向规模化部署。
图 1|AgentLoop 通过 Agent 经验自进化,帮助企业 Agent 从多路径、不稳定的执行状态逐步走向可控生产
每一次运行,都在产生待挖掘的经验
Agent 的每次运行不只产生一个最终答案,也会留下如何理解任务、选择工具、处理错误和完成目标的执行轨迹。成功轨迹中包含有效路径,失败轨迹中则记录了反复出现的错误和恢复线索。
这些轨迹中沉淀着大量尚未被利用的优化证据,但原始 Trace 并不天然等于经验。只有经过清洗和组装形成 Trajectory,再结合结果评估进行比较,才能提炼出可验证、可召回、可复用的行动经验。
因此,数据飞轮的价值不是积累更多日志,而是让每一次运行都为下一次运行提供经过验证的优化依据。
Agent 上线之后,持续优化才真正开始
上线前的评测集只能覆盖已知问题。真实业务会不断产生新的用户表达、新的工具状态、新的异常组合和新的边界条件。模型会升级,知识和业务规则会变化,Agent 使用的工具也会持续迭代。因此,Agent 不可能依靠上线前的一次调试永久保持质量。
今天,企业通常通过一条人工数据飞轮持续优化 Agent:
这条路径有效,但高度依赖专家。随着 Agent 数量、任务类型和调用规模不断增长,人工查看 Trace、分析根因和总结方法会迅速成为瓶颈。大量执行数据被保存下来,真正能够被及时分析并转化为优化动作的,只占其中很小一部分。
企业需要一条更自动化的进化路径:持续观测 Agent 的真实运行,从成功和失败轨迹中自动发现规律,生成可复用经验,并把经过筛选的经验带回 Agent 的下一次执行。
这正是 AgentLoop 的 Agent 经验自进化能力(下文简称“经验自进化”)希望解决的问题。
从人工数据飞轮到 Agent 自进化
AgentLoop 通过经验自进化,在模型之外构建了一层可持续更新的经验系统。它接收 Agent 的真实 Trace,将高噪音的执行数据清洗并组装为标准化 Trajectory,再从多个轨迹中自动挖掘有效路径、失败模式、工具约束、参数规则和恢复策略,生成结构化经验。
当 Agent 再次面对相似任务时,Recall Skill 和 CLI 会根据当前目标、业务对象、工具、执行进度和错误状态,召回少量适用经验,并注入 Agent 的运行时上下文。Agent 完成任务后,新的运行结果再次形成 Trace,进入下一轮经验挖掘。
图 2|从 Trace、Trajectory、经验挖掘到运行时召回的自动进化飞轮
这里的“自进化”并不是直接修改模型权重,而是让 Agent 在模型通用能力之外,持续获得来自真实业务的行动经验。
模型负责推理,工具负责执行,知识库提供事实,经验库则帮助 Agent 判断:在当前情境下,应该优先做什么、哪些路径容易失败、遇到问题后如何恢复,以及什么才算真正完成。
用经验降低 Agent 的不确定性
Agent 的不确定性无法被彻底消除,但可以被持续约束。
图 3|经验持续约束无效探索空间,提高平均质量并抬高运行下限
很多失败并不是因为模型完全不具备能力,而是因为 Agent 在关键节点做出了错误选择:选错了信息入口、错误理解了工具参数、在空结果后反复重试、忽略了业务范围,或者在结果尚未验证时就提前结束任务。
这些问题具有明显的经验属性。同类任务运行得越多,系统越有机会识别哪些选择经常带来成功,哪些行为容易导致失败,以及不同情境下应当采用什么恢复策略。
经验注入的价值,是在 Agent 做出关键决策之前,缩小无效的探索空间:
在任务开始时,提供经过验证的入口选择和行动顺序;
在调用工具前,补充参数约束、数据范围和前置条件;
在出现错误或空结果后,优先提供有效的恢复方法;
在准备交付时,提醒 Agent 验证结果是否真正满足业务目标。
因此,企业衡量经验库时,不应只看一次运行是否成功,而应同时关注:
平均任务成功率;
首次完成率;
同类任务多次执行时的成功率、最低表现和结果波动;
失败模式的集中度;
人工接管率和返工率。
如果平均准确率提高,同时质量下限被抬高、运行波动逐步缩小,Agent 才真正从“偶尔做对”走向“可以稳定上线”。
用更少的成本获得更多成功结果
准确率和成本并不是两个彼此独立的问题。很多 Agent 成本恰恰来自不确定性:方向选错后反复推理,工具调用失败后原样重试,错误的查询范围引发多轮返工,没有完成判断导致执行链不断延长。
当经验帮助 Agent 更早选择正确入口、更准确地使用工具,并在失败后采用有效的恢复策略时,可以同时减少:
Prompt 与 Completion Token;
无效工具调用和重复查询;
单次任务执行时间和超时;
人工查看 Trace、总结问题和修改提示词的投入;
原始 Trace 的存储、传输和重复分析成本。
对企业而言,最有意义的成本指标不是单次调用使用了多少 Token,而是:
每完成一个成功任务,需要消耗多少 Token、时间、工具调用和人工介入。
经验注入并不意味着每个场景的 Token 都一定下降。有些任务为了获得更高成功率,可能需要使用更多上下文。真正合理的目标,是在质量护栏下持续优化单位成功成本,而不是单独追求最低 Token。
图 4|经验注入同时关注质量、结果稳定性以及每个成功任务的综合成本
AgentLoop 的 Agent 经验自进化:核心优势
广泛接入真实 Agent 运行数据
经验飞轮成立的前提,是能够看到 Agent 的完整运行过程。企业内部的 Agent 往往来自不同框架、不同团队和不同运行环境,很难通过单一 SDK 完成统一接入。
AgentLoop 提供多种探针、OpenTelemetry、LoongSuite Pilot、eBPF,以及面向不同 Agent 和 AI Coding 工具的接入能力。无论 Agent 是否方便修改代码,都可以选择适合的方式采集模型调用、工具调用、执行结果和运行环境信息。
广泛的数据接入能力,使经验库不再局限于某个 Agent 框架,而能够成为企业级的共享优化基础设施。
用 Trajectory 提炼高价值执行数据
原始 Trace 通常包含大量基础设施 Span、重复消息和与 Agent 决策无直接关系的数据。如果直接对完整 Trace 做长期存储和模型分析,成本会快速增长,真正有价值的行动信号也容易被噪音淹没。
AgentLoop 会将原始 Trace 清洗、去噪并组装为标准化 Trajectory,保留任务目标、行动步骤、工具调用、观察结果、错误、恢复过程和最终结果等高价值信息。
在内部复杂样本中,清洗后的高价值轨迹可以降到…