背景与挑战
Cloud Native
背景随着大模型能力的成熟,智能体(Agent)正从实验性原型快速走向生产级应用。在客服自动化、运维诊断、数据查询、业务流程编排等场景中,Agent 通过调用工具、规划任务、与用户多轮交互,展现出显著的生产力价值。为适配特定业务需求,开发者普遍基于开源大语言模型(LLM),采用监督微调(SFT)、强化微调(RFT)等技术对 Agent 进行定制化优化,在推理成本、响应延迟与任务成功率之间寻求最佳平衡。
然而,模型一旦部署上线,其能力便趋于静态。若无法持续从真实用户交互中学习,Agent 很难适应业务变化、工具演进或用户行为漂移,长期效果将逐渐退化。
核心挑战当前 Agent 优化面临两大关键瓶颈:
-
训练-部署环境分离传统的微调流程高度依赖离线数据集:开发者需先积累大量历史交互日志,再经过人工清洗、标注,并构建静态训练集;同时,为在隔离环境中进行训练,还需额外开发模拟工具链(如 Mock API、虚拟数据库等)来复现线上行为。这一过程不仅周期长、反馈滞后,更关键的是,仿真环境往往难以准确还原生产系统中真实的工具响应、状态流转与边界条件——例如内部 API 的延迟特性、数据库的并发行为或业务系统的上下文依赖。这种“训练-部署”之间的环境差异,容易导致模型在离线评估中表现良好,却在真实场景中出现行为偏差甚至失效。
-
Java 生态支持缺失 现有 RFT 框架(如 Trinity-RFT)主要面向 Python 生态。对于采用 Java 构建 Agent 的企业团队而言,若希望通过模型训练优化 Agent 能力,通常面临两种高成本选择:
- 将已有的 Java Agent 逻辑重写为 Python;
- 或自行开发中间层,实现日志采集、数据格式转换、训练接口适配等组件。
无论哪种方式,都迫使 Java 开发者额外承担算法理解与分布式训练工程的复杂性,增加开发负担,降低迭代效率,阻碍了训练能力在 Java 生态中的落地与普及。
解决方案要实现“Agent 越用越聪明”的自进化目标,必须打通从生产环境到训练系统的全链路数据闭环。理想方案应具备以下特征:
- 利用线上真实交互数据:Agent 开发者可直接基于生产环境中 Agent 的真实请求调用与工具状态,使用线上的数据进行训练;
- 低侵入:对现有 Agent 业务逻辑无干扰,集成成本低;
- 语言栈友好:原生支持 Java 开发者,无需跨语言重构。
基于此,我们提出面向 Java Agent 的端到端在线训练方案,以 AgentScope Java + Trinity-RFT 为核心,构建一条高效、安全、可落地的持续优化路径。
AgentScope Java × Trinity-RFT 在线训练
Cloud Native
在线训练(Online Training)是一种在生产环境的实时系统中,利用真实用户交互数据持续优化智能体(Agent)行为的训练范式。与传统离线训练——即先收集历史日志、构建静态数据集,再于隔离环境中进行模型微调——不同,在线训练强调与真实工具链(如 API、数据库、业务系统)和用户行为的深度耦合,实现“边运行、边学习、边优化”的闭环。
其核心流程为:系统从线上真实请求中自动筛选高质量样本,由 Agent 使用待训练模型处理这些请求,并直接调用生产环境中的真实工具完成任务;整个交互过程被完整记录,并结合预设规则或用户反馈生成对应的奖励信号;当积累足够数量的带奖励轨迹后,系统自动触发训练,利用这些真实、高保真的数据对模型进行增量优化,从而真正实现“使用即学习,越用越聪明”的自进化能力。
核心价值本方案通过在 AgentScope Java 中原生集成在线训练能力,为 Java Agent 开发者提供以下关键价值:
- 无需模拟生产环境工具链:在线训练直接复用线上已部署的真实工具(如内部 API、数据库、业务系统等),避免为训练单独构建 Mock 工具。这不仅显著降低集成成本,更有效规避因 Mock 工具与线上实际行为不一致所引发的行为偏差风险,确保训练数据的真实性与模型泛化能力。
- 真实数据驱动的持续优化:Agent 在处理真实用户请求时,自动采集包含完整工具调用序列、系统状态与上下文反馈的交互轨迹,并用于增量训练。无需等待历史日志积累,即可实现快速冷启动与持续迭代。
- 极简集成,开箱即用:开发者仅需提供训练配置、自定义奖励函数即可开始训练;数据采集、轨迹存储、训练调度、等流程由框架自动完成,大幅降低工程复杂度。
- 统一训练接口,覆盖主流优化范式:底层深度集成 Trinity-RFT(v0.4+),原生支持监督微调(SFT)、知识蒸馏及 PPO 等强化学习算法,未来将扩展至 GRPO 等先进方法。开发者无需切换训练框架,亦无需深入分布式训练细节,即可使用前沿优化技术。
架构设计本方案采用解耦式架构,将在线训练流程划分为三个独立组件,支持灵活部署与弹性扩展:
- Agent Runner(用户侧):由开发者自行部署和管理的 Java Agent 应用,负责处理真实用户请求。它通过标准 RESTful API 与 Explorer 通信,无需 GPU 资源,亦不受训练框架约束。
- Explorer(推理服务):作为在线推理网关,接收来自 Agent Runner 的请求,执行 LLM 推理与工具调用,并记录完整的交互轨迹(包括输入、输出、工具调用序列、状态变更等)。同时提供 OpenAI 兼容接口,支持热加载最新模型 checkpoint。
- Trainer(训练服务):从共享存储(如 SQLite 或 SQL 数据库)中读取新采集的轨迹数据,执行 SFT 或 RFT 训练,并将更新后的模型 checkpoint 写入共享文件系统,供 Explorer 实时加载。
三者通过轻量级协议协同工作:
- Agent Runner 与 Explorer 通过 HTTP 通信;
- Explorer 与 Trainer 共享文件系统(用于模型同步)和数据库(用于轨迹存储);
Agent Runner、Explorer 和 Trainer 可以部署在不同的服务器上。其中 Agent Runner 由用户自行管理,只需要保证网络与 Explorer 互通,无需 GPU 资源。而 Explorer 和 Trainer 需要通过 Trinity-RFT 部署在 GPU 服务器上,且需要保证两者可以访问同一个共享文件系统,以便 Trainer 保存的模型检查点可以被 Explorer 读取。
安全与约束为保障生产环境稳定性,在线训练当前默认仅支持只读工具调用。若涉及写操作(如创建订单、发送消息),需由开发者通过幂等设计、沙箱机制或人工审核等方式确保重放安全。
此外,当前训练范式原生支持单轮用户-Agnet 交互。对于多轮对话或复杂任务流,需开发者显式建模状态转移或采样策略。
快速开始
Cloud Native
Maven 依赖
<dependency> <groupId>io.agentscope</groupId> <artifactId>agentscope-extensions-training</artifactId> <version>${agentscope.version}</version></dependency>
定义请求筛选逻辑请求筛选逻辑用于筛选出需要用于训练的请求。
内置策略
SamplingRateStrategy - 随机采样。所有线上请求按照百分比进行筛选。
TrainingSelectionStrategy strategy = SamplingRateStrategy.of(0.1); // 10%
ExplicitMarkingStrategy - 用户显式标记重要请求。
TrainingSelectionStrategy strategy = ExplicitMarkingStrategy.create();// 在你的应用代码中显示标记请求用于训练TrainingContext.mark("high-quality", "user-feedback");agent.call(msg).block(); // 这个请求会被用于训练
自定义策略
您可以参考 SamplingRateStrategy(基于固定采样率的随机筛选)或 ExplicitMarkingStrategy(基于显式标记的主动筛选)的实现方式,自行实现 TrainingSelectionStrategy 接口,并在 shouldSelect 方法中嵌入符合您业务场景的请求筛选逻辑。该方法在每次 Agent 处理用户请求前被调用,您可以基于以下维度动态决定是否将本次交互纳入训练数据集:
- 业务价值:例如,根据您 Agent 的应用场景评估用户的请求价值;
- 交互质量:例如,过滤掉过短、模糊或明显无效的用户输入;
- 合规与安全策略:例如,排除包含敏感信息或不符合数据治理要求的对话。
通过自定义筛选策略,您可以在控制训练数据规模的同时,显著提升样本的相关性与训练效率,避免将大量低价值或噪声数据引入训练流程。尤其在在线训练资源有限或强调数据隐私的场景下,精细化的筛选机制是保障训练效果与系统稳定性的关键环节。
定义奖励函数您可以实现 RewardCalculator 接口,并在 calculate 方法中根据您的业务需求自定义您的奖励计算逻辑。该方法的参数是 Agent,你可以从中获取 Agent 相关的所有信息,例如 Memory、Context 等。通过利用用户输入、Agent 的响应、工具调用序列、工具返回结果等信息,基于实际业务指标(如任务完成度、响应准确性等)动态评估 Agent 行为的质量。
一般而言,奖励值归一化到 0 到 1 之间的浮点数:
- 接近 1 表示 Agent 行为高度符合预期(例如:正确调用工具、返回准确答案、完成用户目标);
- 接近 0 表示行为存在偏差或失败(例如:工具调用错误、信息遗漏、逻辑混乱);
- 中间值可用于表达部分成功或需权衡的场景(例如:响应速度与准确性之间的 trade-off)。
典型实现方式包括:
- 基于规则的评分(如关键词匹配、JSON Schema 校验、业务状态校验);
- 调用外部反馈系统(如用户显式评分、A/B 测试指标、运维告警状态);
- 结合模型打分(如使用 LLM 模型判断回答相关性)。
启动训练后端
安装 Trinity
在安装之前,请确保您的系统满足以下要求,推荐使用源码安装:
- Python:版本 3.10 至 3.12(含)
- CUDA:版本 >= 12.8
- GPU:至少 2 块 GPU(取决于您待训练模型的显寸需求)
git clone https://github.com/agentscope-ai/Trinity-RFTcd Trinity-RFTpip install -e ".[dev]"pip install flash-attn==2.8.1