Harness 与 Agent 工程 · 运行控制与长任务 · 2026-06-27

腾讯混元发布 PhoneBuddy:4B 开源手机 Agent,在 AndroidWorld 上超越 Gemini3.1 Pro

腾讯开源手机Agent PhoneBuddy在AndroidWorld上超越Gemini3.1 Pro,它如何通过混合训练解决真实与规模化的矛盾?

核心内容:

  1. PhoneBuddy混合真实App与模拟环境训练的核心方法
  2. 在AndroidWorld评测中达到83.2%成功率的关键突破
  3. 揭示手机Agent在跨App任务中面临的核心挑战

一句话讲清楚👉🏻 腾讯混元提出 PhoneBuddy ,用真实手机 App 强化学习加 PhoneWorld 模拟 App 训练,把 4B 开源手机 Agent 的 AndroidWorld 成功率推到 83.2%,同时暴露出跨 App 任务仍然很难。

让手机 Agent 真正替你办事,难点往往不在“看懂按钮”这一层。订酒店、填文档、在小程序里查信息,这些任务会遇到弹窗、登录态、旧剪贴板、真实 App 副作用,模型必须在这些干扰里把事情办完。

手机是一个带状态的执行环境。账号是否登录、 App 是否弹权限、服务端返回什么、剪贴板里有没有旧内容、某个操作会不会真的下单或付款,都会影响最终结果。一个 Agent 在截图上点对位置,并不等于它完成了任务。

PhoneBuddy 这篇论文把问题压到一个更具体的位置:开源手机 Agent 到底该怎么训练,才能在真实手机上更会做事? 它给出的答案是,把真实 App 环境和可自动验证的模拟 App 环境结合起来。

真实 App 给模型现实感, PhoneWorld 给模型规模、重置和自动验收。两者合起来, PhoneBuddy-4B-Real+Mock 在四个评测维度的平均成功率达到 54.8%,比只做真实 App RL 的版本高 5.0 个百分点;在 AndroidWorld 上,成功率从 SFT 的 60.3% 一路涨到 83.2%。

但这篇论文的价值不止体现在漂亮数字上。它把手机 Agent 训练里最尴尬的矛盾讲清楚了:越真实的环境越难规模化,越可规模化的环境又越容易失真。

PhoneBuddy 的整体训练流程:共享 SFT 阶段之后,模型分成真实 App RL 与真实+模拟混合 RL 两条路线。

手机 Agent 的训练,卡在“真”和“多”之间

论文开头先点出一个现实:大模型已经不满足于回答问题,它们正在被要求直接操作软件界面。网页、桌面、工具调用、移动端 GUI 都在往这个方向走。

手机端更特殊。它是很多真实任务的主入口:聊天、支付、本地生活、出行、办公、小程序、跨 App 信息流转,都在手机上发生。对一个手机 Agent 来说,任务成功的标准不是“识别出按钮”,最终要看它能否在真实设备状态下把事情完整办完。

这里有几个麻烦点。

第一,手机任务高度状态化。同一个 App ,登录状态不同、历史记录不同、会员权限不同,屏幕行为都会不一样。训练时很难把环境恢复到完全一致的状态。

第二,手机操作有副作用。点错一个按钮,可能发出消息、改掉文档、触发订单,甚至影响真实账号数据。真实 App 环境越接近部署场景,探索成本越高。

第三,验证结果很难自动化。网页或合成环境里,常常可以直接检查 DOM 、数据库状态或环境变量。真实手机 App 里,很多结果藏在服务端或账号私有状态里,系统很难直接读取。

第四,任务形态差异很大。单 App 任务、小程序任务、跨 App 任务看起来都叫“手机 Agent”,训练难度不是一个量级。尤其跨 App 场景,需要在多个界面之间搬运信息,前一步的中间结果会影响后一步。

所以 PhoneBuddy 研究的是训练配方:在真实环境成本高、模拟环境容易失真的前提下,怎样训练一个开源模型,让它在真实手机上更稳。

PhoneBuddy 怎么做:先统一动作,再比较训练分支

PhoneBuddy 的实验设计有一个好处:它尽量把变量压少。

所有对比模型都从同一个 Qwen3.5-4B backbone 出发,共享同一套动作接口、提示模板、评测协议和 SFT 初始化。论文重点比较最后的强化学习环境选择,刻意避开模型架构花活。

三条模型路线可以概括成这样:

模型 SFT 数据 RL 环境 目标
PhoneBuddy-4B-SFT 真实+模拟轨迹 无 共同起点
PhoneBuddy-4B-Real 真实+模拟轨迹 真实 App 贴近真实执行
PhoneBuddy-4B-Real+Mock 真实+模拟轨迹 真实+模拟 App 兼顾真实与规模

共享 SFT 阶段使用真实 App 和模拟 App 轨迹,总共 950,758 个 action steps 。训练是全参数微调,跑 1,115 个 optimizer steps , batch size 为 512 ,序列长度打包到 8,192 tokens ,学习率从 $1\times10^{-5}。

这个 SFT 阶段先让模型学会统一的手机动作格式:看到用户任务、当前屏幕和历史动作后,输出下一步操作。动作空间包括 click 、 double click 、 long press 、 type 、 scroll 、 drag 、 back/home/menu/enter 、 open app 、 close app 、 wait 等。

之后进入 RL 。两个 RL 分支都跑 50 个 online RL steps ,优化目标都是二值任务完成奖励:完成就是 1 ,没完成就是 0 。但真实环境和模拟环境的奖励来源不同。

真实 App 环境里,很多任务结果依赖账号状态和服务端逻辑,不能直接读内部状态。论文采用 rubric-based model judging :先用 Gemini-3.1-Pro-Preview 为每个任务生成验收 rubric ,再用 Qwen3.5-122B-A10B 按 UI 轨迹和证据逐项打分,所有 rubric 项通过才算成功。

模拟 App 环境用的是 PhoneWorld 。这里的 mock app 指从真实 GUI 轨迹和截图中重建出来的可运行 Android App ,并非静态玩具页面。它有屏幕连接关系、可写状态、任务目标和规则验收器,因此可以自动重置、自动跑、自动判断是否完成。

混合 RL 分支里,真实 App 和模拟 App rollout 比例是 50%/50%。这一步的核心是让模型在真实反馈之外,多获得可重复、可验证、成本更低的交互经验,而不是让模拟环境替代真实手机。

真实 App 与 PhoneWorld 的互补关系:前者提供真实设备行为和副作用,后者提供可重置、可自动验证的大规模交互。

PhoneWorld 扮演的角色:把“可练习”这件事补上

很多手机 Agent 的训练困境,和人类练车有点像。

真实 App 像真实路况:一个按钮点错,可能真的发消息、改文档、触发订单。 PhoneWorld 更像训练场,允许模型反复练搜索、填写、筛选、确认这些动作,而不必每次都冒真实账号的风险。

PhoneWorld 在 PhoneBuddy 里就是这个训练场。它从真实 GUI 使用结构里恢复屏幕、动作、状态变化和任务验收规则,生成可运行的模拟手机环境。它的优势不在于百分百复刻真实 App ,而在于让模型能反复练一批可检查的任务。

这对 RL 很关键。强化学习怕奖励噪声,也怕环境不可复现。真实手机…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/OpenSourceLLM/2026062764392.html