Harness 与 Agent 工程 · Agent架构与协作 · 2026-02-04

Agent 越用越聪明?AgentScope Java 在线训练插件来了!

AgentScope Java 在线训练插件让智能体持续进化,打破传统训练-部署分离的瓶颈,实现 Java 生态下的高效优化。

核心内容:

  1. 传统 Agent 优化面临的训练-部署环境分离与 Java 生态支持缺失两大挑战
  2. AgentScope Java + Trinity-RFT 在线训练方案的核心优势与特性
  3. 如何实现生产环境中的实时数据闭环与持续优化

背景与挑战

Cloud Native

背景随着大模型能力的成熟,智能体(Agent)正从实验性原型快速走向生产级应用。在客服自动化、运维诊断、数据查询、业务流程编排等场景中,Agent 通过调用工具、规划任务、与用户多轮交互,展现出显著的生产力价值。为适配特定业务需求,开发者普遍基于开源大语言模型(LLM),采用监督微调(SFT)、强化微调(RFT)等技术对 Agent 进行定制化优化,在推理成本、响应延迟与任务成功率之间寻求最佳平衡。

然而,模型一旦部署上线,其能力便趋于静态。若无法持续从真实用户交互中学习,Agent 很难适应业务变化、工具演进或用户行为漂移,长期效果将逐渐退化。

核心挑战当前 Agent 优化面临两大关键瓶颈:

  1. 训练-部署环境分离传统的微调流程高度依赖离线数据集:开发者需先积累大量历史交互日志,再经过人工清洗、标注,并构建静态训练集;同时,为在隔离环境中进行训练,还需额外开发模拟工具链(如 Mock API、虚拟数据库等)来复现线上行为。这一过程不仅周期长、反馈滞后,更关键的是,仿真环境往往难以准确还原生产系统中真实的工具响应、状态流转与边界条件——例如内部 API 的延迟特性、数据库的并发行为或业务系统的上下文依赖。这种“训练-部署”之间的环境差异,容易导致模型在离线评估中表现良好,却在真实场景中出现行为偏差甚至失效。

  2. Java 生态支持缺失 现有 RFT 框架(如 Trinity-RFT)主要面向 Python 生态。对于采用 Java 构建 Agent 的企业团队而言,若希望通过模型训练优化 Agent 能力,通常面临两种高成本选择:

无论哪种方式,都迫使 Java 开发者额外承担算法理解与分布式训练工程的复杂性,增加开发负担,降低迭代效率,阻碍了训练能力在 Java 生态中的落地与普及。

解决方案要实现“Agent 越用越聪明”的自进化目标,必须打通从生产环境到训练系统的全链路数据闭环。理想方案应具备以下特征:

基于此,我们提出面向 Java Agent 的端到端在线训练方案,以 AgentScope Java + Trinity-RFT 为核心,构建一条高效、安全、可落地的持续优化路径。

AgentScope Java × Trinity-RFT 在线训练

Cloud Native

在线训练(Online Training)是一种在生产环境的实时系统中,利用真实用户交互数据持续优化智能体(Agent)行为的训练范式。与传统离线训练——即先收集历史日志、构建静态数据集,再于隔离环境中进行模型微调——不同,在线训练强调与真实工具链(如 API、数据库、业务系统)和用户行为的深度耦合,实现“边运行、边学习、边优化”的闭环。

其核心流程为:系统从线上真实请求中自动筛选高质量样本,由 Agent 使用待训练模型处理这些请求,并直接调用生产环境中的真实工具完成任务;整个交互过程被完整记录,并结合预设规则或用户反馈生成对应的奖励信号;当积累足够数量的带奖励轨迹后,系统自动触发训练,利用这些真实、高保真的数据对模型进行增量优化,从而真正实现“使用即学习,越用越聪明”的自进化能力。

核心价值本方案通过在 AgentScope Java 中原生集成在线训练能力,为 Java Agent 开发者提供以下关键价值:

架构设计本方案采用解耦式架构,将在线训练流程划分为三个独立组件,支持灵活部署与弹性扩展:

三者通过轻量级协议协同工作:

Agent Runner、Explorer 和 Trainer 可以部署在不同的服务器上。其中 Agent Runner 由用户自行管理,只需要保证网络与 Explorer 互通,无需 GPU 资源。而 Explorer 和 Trainer 需要通过 Trinity-RFT 部署在 GPU 服务器上,且需要保证两者可以访问同一个共享文件系统,以便 Trainer 保存的模型检查点可以被 Explorer 读取。

安全与约束为保障生产环境稳定性,在线训练当前默认仅支持只读工具调用。若涉及写操作(如创建订单、发送消息),需由开发者通过幂等设计、沙箱机制或人工审核等方式确保重放安全。

此外,当前训练范式原生支持单轮用户-Agnet 交互。对于多轮对话或复杂任务流,需开发者显式建模状态转移或采样策略。

快速开始

Cloud Native

Maven 依赖

<dependency> <groupId>io.agentscope</groupId> <artifactId>agentscope-extensions-training</artifactId> <version>${agentscope.version}</version></dependency>

定义请求筛选逻辑请求筛选逻辑用于筛选出需要用于训练的请求。

内置策略

SamplingRateStrategy - 随机采样。所有线上请求按照百分比进行筛选。

TrainingSelectionStrategy strategy = SamplingRateStrategy.of(0.1); // 10%

ExplicitMarkingStrategy - 用户显式标记重要请求。

TrainingSelectionStrategy strategy = ExplicitMarkingStrategy.create();// 在你的应用代码中显示标记请求用于训练TrainingContext.mark("high-quality", "user-feedback");agent.call(msg).block(); // 这个请求会被用于训练

自定义策略

您可以参考 SamplingRateStrategy(基于固定采样率的随机筛选)或 ExplicitMarkingStrategy(基于显式标记的主动筛选)的实现方式,自行实现 TrainingSelectionStrategy 接口,并在 shouldSelect 方法中嵌入符合您业务场景的请求筛选逻辑。该方法在每次 Agent 处理用户请求前被调用,您可以基于以下维度动态决定是否将本次交互纳入训练数据集:

通过自定义筛选策略,您可以在控制训练数据规模的同时,显著提升样本的相关性与训练效率,避免将大量低价值或噪声数据引入训练流程。尤其在在线训练资源有限或强调数据隐私的场景下,精细化的筛选机制是保障训练效果与系统稳定性的关键环节。

定义奖励函数您可以实现 RewardCalculator 接口,并在 calculate 方法中根据您的业务需求自定义您的奖励计算逻辑。该方法的参数是 Agent,你可以从中获取 Agent 相关的所有信息,例如 Memory、Context 等。通过利用用户输入、Agent 的响应、工具调用序列、工具返回结果等信息,基于实际业务指标(如任务完成度、响应准确性等)动态评估 Agent 行为的质量。

一般而言,奖励值归一化到 0 到 1 之间的浮点数:

典型实现方式包括:

启动训练后端

安装 Trinity

在安装之前,请确保您的系统满足以下要求,推荐使用源码安装:

git clone https://github.com/agentscope-ai/Trinity-RFTcd Trinity-RFTpip install -e ".[dev]"pip install flash-attn==2.8.1

配置训练配置

编写…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/finetuning/2026020450798.html