淘宝直播数字人 AgenticRL 实践:从 RLVR 到 MultiAgent RL


本文介绍了淘宝直播数字人互动从传统静态 Workflow 架构向动态 Agentic 架构的升级实践。通过融合 LLM 与 Agent 自主规划能力,利用 AgentTuning 蒸馏降低延迟、RLVR 减少幻觉,并针对业务挑战研发 Multi-Agent RL 算法,将工具调用与回复模型分离进行协同强化学习优化。最终实现了低延迟(1.79秒)、高拟真度的深度互动,显著提升了事实正确性、帮助性及多轮对话用户比例,打造了下一代数字直播范式。


摘要


针对目前数字人交互深度不足,以及传统 Workflow 互动方案灵活度差、泛化能力弱、维护成本高的问题,我们致力于融合LLM的世界知识与 Agent 的自主规划决策能力,赋予数字人“Agent 大脑”,实现极具情绪价值和专业度的深度互动。长期愿景是希望构建一个具备感知、思考、表达与执行闭环的类真人主播 Agent ,使其不仅能精准理解复杂语境,更能基于实时反馈自主生成高质内容,打造行业领先的高拟人、强交互、高增长的下一代数字直播范式。

  • 第二章——Workflow 架构升级到 Agentic 架构所做的工作:重新设计了新的Agentic架构,使用 AgentTuning 监督微调(sft)将大模型能力迁移到低延迟的小模型、使用 RLVR 降低模型基于工具调用信息回复幻觉从而达到可靠上线的标准,通过这样的优化手段,在 AB 实验中,Agent 的平均端到端延迟降低到了 1.79 秒(相对下降1.36秒),多轮对话用户比例提升 2.76%;

  • 第三章——基于阿里自研 infra 在 Agentic RL 下的探索与实践,基于 ROLL 实现 Agentic RL 算法优化 Agent 模型在环境中进行多轮工具调用并基于调用结果进行回复的能力,该章详细介绍了我们在 AgenticRL 搭建过程中的工程细节以及在业务落地时遇到的现实挑战;

  • 第四章——针对在 Agentic RL 在业务场景下落地所遇到的问题,我们研发了适配业务的 Multi-Agent RL 算法:工具调用相关奖励不适合用于优化回复能力、回复质量相关奖励同样也不适合完全拿来优化工具调用能力,为了应对该挑战,我们针对业务特点设计了 Multi-Agent RL 多智能体强化学习算法,将工具调用模型与最终回复模型区分为两个 Agent,并使用不同的奖励对这两个模型进行在线协同强化学习优化,Multi-Agent RL 良好解决了单 Agent GRPO 在复杂奖励下难收敛的问题,最终在回复指标中相较于监督微调模型事实正确性提升 4.1pt,帮助性提升 23.6pt,工具调用合理性提升 18.2pt。


从Workflow到Agentic的升级


▐  业务场景介绍



  • 观众在数字人直播间发送弹幕时,数字人主播会基于直播间商品信息、商家预设问答对等信息对观众进行弹幕和口播的回复;

  • 我们的算法在这个场景下控制数字人主播对观众的互动行为,包括要回复什么、要不要调整讲品顺序到观众想听的商品等。


▐  框架升级背景介绍


面对快速变化的直播业务,原有“意图识别—检索—生成”的静态 Workflow 架构*已遭遇严重瓶颈,主要体现在三大维度:

  • 系统灵活性差,迭代受限:依赖人工标注,新增1个意图需2个月时间进行迭代,预置 FAQ 利用率不足2%,难以适应业务的快速迭代。

  • 上下文感知弱,易死胡同:无法联动“宝贝口袋/讲解文案/历史弹幕”等多源信息,一旦意图误判无法反思回退,只能机械抛给人工客服。

  • 并发调度缺失,能力遇颈:无法处理直播间高频的多弹幕并发,扩展更高阶的动作/语气交互极其困难。


破局点: 依托 Agentic 技术爆发(30B MoE 模型在单卡 H20 上部署后的吞吐已达 140 tokens/s,基座模型的 Agentic 能力大幅提升),我们具备了将静态工作流升级为动态决策、具备反思与上下文感知能力的 Agentic 架构的技术时机,全面推动数字人向 Agent 化迈进,提高数字人智能化的天花板。


▐  架构优化


完成了从 Workflow 架构到 Agentic 架构的升级:

  • 感知域:单维度匹配  →  全局上下文感知(弹幕+历史+商品信息融合)

  • 决策域:单次死板分类  →  多次按需工具调用与自我纠错(反思机制)

  • 执行域:单意图话术  →  多模态响应(调图、调顺序、融合讲解文案)


原Workflow架构

Agentic架构


  • 为了让大家更好的了解我们的agent的执行流程,这里给出一个,Agent 完整 trajectory 的示例:


    // 注:本示例为脱敏版本。系统提示词与样例输入保留;真实检索结果(商家名/价格/库存/条形码)及后续完整 trajectory 已替换/省略[{    "role": "system",    "content": "\n## 指令\n你是一名淘宝数字人主播,你现在正在运营这个直播间,并且你有很多工具可以调用,请选择调用一些工具获取更多信息用于更好的回复观众的问题。\n## 要求\n1. 你需要理解观众的问题,明确观众想问什么,你需要显示的补全观众想问的真实问题\n2. 如果观众问的问题能够调用工具搜集资料来回答那么就调用工具搜集资料\n3. 如果信息已经搜集完毕或者信息不足需要向观众进行多轮澄清,就调用回复规则查询工具来查询不同意图类型问题的回复规则,根据查询到的规则回答问题\n4. 同一个工具不要使用两次以上,如果在历史中已经调用了两次相同的工具那么不应该继续调用了,你需要保持使用工具的高效性,因为需要实时对观众进行回复\n5. 在进行最终回复前**必须**先查询回复规则\n"},{    "role": "user",    "content": "\n## 真实输入\n{\n    \"当前商品名\":超市定制伊利金典纯牛奶250ml*24盒整箱儿童学生高端营养礼盒,\n    \"对话历史\":[],\n    \"观众问题\":索尼xm4和5哪个降噪好呢,\n    \"相关预置FAQ\":[]\n}\n\n## 现在开始\n请先按照要求进行一步一步思考,通过调用工具收集更多信息用于回答观众问题\n",},{    "role": "assistant",    "content": "\n\n{\"name\": \"search_product_by_keyword\", \"arguments\": {\"keyword\": \"索尼xm4\"}}\n\n\n\n{\"name\": \"search_product_by_keyword\", \"arguments\": {\"keyword\": \"索尼xm5\"}}\n\n"},{    "role": "tool",    "content": "已找到相关商品:[{\"商品名\": \"\", \"商家名\": \"某商家\", \"券后价\": ***, \"库存\": \"***\", \"商品条形码\": \"***\", \"链接号\": }](注:真实检索返回的多条商家/价格/库存/条形码数据,以及后续查询回复规则、最终回复等 trajectory 内容,为对外脱敏已省略)"}]


    架构的升级带来的优势是明显的,我们以实际用户 query 为例,从以下几个方面进行对比:


    • 通用优势



    • 直播特色优势


    • 支持多弹幕回复:得益于 Agentic 架构的升级,数字人互动能够支持高并发自适应工具调用与多维信息逻辑聚合,从而将碎片化的用户提问转化为结构化、高质量的统一回复。因此面对刷屏提问,Agent 能一脑多用,一次性汇总回复多个不同用户的商品问题(补贴政策+赠品详情+物流时效等)。



    • 融合文案信息回复:直播间用户问题往往与直播正在讲解的内容高度相关。得益于 Agentic 架构的灵活性和全局上下文感知能力,我们能够实时感知当前数字人口播文案,结合文案上下文更深刻地理解用户真实意图并给出更准确的回复。



    ▐  模型优化:AgentTuning与RLVR


    我们自研了一套 Agent 模型优化方案,来满足直播互动极低的延迟要求,并提升互动回复的正确性与帮助性:

    • 攻克延迟(AgentTuning 蒸馏):引入大的教师生产思维链路(Trajectory),蒸馏至 30B-A3B 小模型。单次工具调用耗时压缩至 0.3s,单卡 H20 部署下解码吞吐达 140 tokens/s,满足直播互动时效性要求。

    • 攻克幻觉(互动回复模型 RLVR):构建直播互动域的测评 Metric,通过设计正确的逻辑奖励模型,引导回复模型学习生成更具“正确性”与“帮助性”的回复,杜绝直播带货中的“乱回复、乱承诺”幻觉问题。


    • AgentTuning蒸馏


    Agent 具备多轮反思机制,会带来额外的反思时间开销,这在数字人互动中带来极大的延迟挑战。我们通过 AgentTuning 蒸馏的方式使得小模型具备接近千亿参数大模型的互动 Agent 的自主规划、工具调用、反思决策能力。



    • 教师模型在 Agent 推理过程中与环境进行多轮交互,采样出完整的 agent 执行 trajectory,其中,我们将大模型的工具调用及回复能力分别蒸馏至两个 Qwen3-30B-A3B 的小模型中;

    • 为了追求低延迟,学生模型均采用 Instruct 模型,在蒸馏时剔除掉了教师模型的思考部分序列:

      • 工具调用模型仅蒸馏教师 Agent 的工具调用生成部分,截取最后一轮工具调用前的 trajectory,并 mask 掉工具调用结果;

      • 回复生成模型仅蒸馏教师 Agent 最终回复生成部分,mask 掉回复前的所有序列。


    • 回复模型RLVR


    AgentTuning 训练后的模型已具备较优秀的自主规划、工具调用和反思决策能力,但由于训练为监督学习范式,模型回复的事实正确性和帮助性仍有不少优化空间。…

    — 以上为试看内容(约 40%),开通会员后阅读全文 —