一句话讲清楚👉🏻 腾讯混元提出 PhoneBuddy ,用真实手机 App 强化学习加 PhoneWorld 模拟 App 训练,把 4B 开源手机 Agent 的 AndroidWorld 成功率推到 83.2%,同时暴露出跨 App 任务仍然很难。
- 论文标题:PhoneBuddy: Training Open Models for Agentic Phone Use
- 论文链接:https://arxiv.org/abs/2606.23049
- Github 链接:https://github.com/PhoneBuddyAI/phonebuddy
- 项目链接:https://phonebuddyai.github.io/
- 模型链接:https://huggingface.co/PhoneBuddyAI/PhoneBuddy-4B
让手机 Agent 真正替你办事,难点往往不在“看懂按钮”这一层。订酒店、填文档、在小程序里查信息,这些任务会遇到弹窗、登录态、旧剪贴板、真实 App 副作用,模型必须在这些干扰里把事情办完。
手机是一个带状态的执行环境。账号是否登录、 App 是否弹权限、服务端返回什么、剪贴板里有没有旧内容、某个操作会不会真的下单或付款,都会影响最终结果。一个 Agent 在截图上点对位置,并不等于它完成了任务。
PhoneBuddy 这篇论文把问题压到一个更具体的位置:开源手机 Agent 到底该怎么训练,才能在真实手机上更会做事? 它给出的答案是,把真实 App 环境和可自动验证的模拟 App 环境结合起来。
真实 App 给模型现实感, PhoneWorld 给模型规模、重置和自动验收。两者合起来, PhoneBuddy-4B-Real+Mock 在四个评测维度的平均成功率达到 54.8%,比只做真实 App RL 的版本高 5.0 个百分点;在 AndroidWorld 上,成功率从 SFT 的 60.3% 一路涨到 83.2%。
但这篇论文的价值不止体现在漂亮数字上。它把手机 Agent 训练里最尴尬的矛盾讲清楚了:越真实的环境越难规模化,越可规模化的环境又越容易失真。
PhoneBuddy 的整体训练流程:共享 SFT 阶段之后,模型分成真实 App RL 与真实+模拟混合 RL 两条路线。
手机 Agent 的训练,卡在“真”和“多”之间
论文开头先点出一个现实:大模型已经不满足于回答问题,它们正在被要求直接操作软件界面。网页、桌面、工具调用、移动端 GUI 都在往这个方向走。
手机端更特殊。它是很多真实任务的主入口:聊天、支付、本地生活、出行、办公、小程序、跨 App 信息流转,都在手机上发生。对一个手机 Agent 来说,任务成功的标准不是“识别出按钮”,最终要看它能否在真实设备状态下把事情完整办完。
这里有几个麻烦点。
第一,手机任务高度状态化。同一个 App ,登录状态不同、历史记录不同、会员权限不同,屏幕行为都会不一样。训练时很难把环境恢复到完全一致的状态。
第二,手机操作有副作用。点错一个按钮,可能发出消息、改掉文档、触发订单,甚至影响真实账号数据。真实 App 环境越接近部署场景,探索成本越高。
第三,验证结果很难自动化。网页或合成环境里,常常可以直接检查 DOM 、数据库状态或环境变量。真实手机 App 里,很多结果藏在服务端或账号私有状态里,系统很难直接读取。
第四,任务形态差异很大。单 App 任务、小程序任务、跨 App 任务看起来都叫“手机 Agent”,训练难度不是一个量级。尤其跨 App 场景,需要在多个界面之间搬运信息,前一步的中间结果会影响后一步。
所以 PhoneBuddy 研究的是训练配方:在真实环境成本高、模拟环境容易失真的前提下,怎样训练一个开源模型,让它在真实手机上更稳。
PhoneBuddy 怎么做:先统一动作,再比较训练分支
PhoneBuddy 的实验设计有一个好处:它尽量把变量压少。
所有对比模型都从同一个 Qwen3.5-4B backbone 出发,共享同一套动作接口、提示模板、评测协议和 SFT 初始化。论文重点比较最后的强化学习环境选择,刻意避开模型架构花活。
三条模型路线可以概括成这样:
| 模型 | SFT 数据 | RL 环境 | 目标 |
|---|---|---|---|
| PhoneBuddy-4B-SFT | 真实+模拟轨迹 | 无 | 共同起点 |
| PhoneBuddy-4B-Real | 真实+模拟轨迹 | 真实 App | 贴近真实执行 |
| PhoneBuddy-4B-Real+Mock | 真实+模拟轨迹 | 真实+模拟 App | 兼顾真实与规模 |
共享 SFT 阶段使用真实 App 和模拟 App 轨迹,总共 950,758 个 action steps 。训练是全参数微调,跑 1,115 个 optimizer steps , batch size 为 512 ,序列长度打包到 8,192 tokens ,学习率从 $1\times10^{-5}。
这个 SFT 阶段先让模型学会统一的手机动作格式:看到用户任务、当前屏幕和历史动作后,输出下一步操作。动作空间包括 click 、 double click 、 long press 、 type 、 scroll 、 drag 、 back/home/menu/enter 、 open app 、 close app 、 wait 等。
之后进入 RL 。两个 RL 分支都跑 50 个 online RL steps ,优化目标都是二值任务完成奖励:完成就是 1 ,没完成就是 0 。但真实环境和模拟环境的奖励来源不同。
真实 App 环境里,很多任务结果依赖账号状态和服务端逻辑,不能直接读内部状态。论文采用 rubric-based model judging :先用 Gemini-3.1-Pro-Preview 为每个任务生成验收 rubric ,再用 Qwen3.5-122B-A10B 按 UI 轨迹和证据逐项打分,所有 rubric 项通过才算成功。
模拟 App 环境用的是 PhoneWorld 。这里的 mock app 指从真实 GUI 轨迹和截图中重建出来的可运行 Android App ,并非静态玩具页面。它有屏幕连接关系、可写状态、任务目标和规则验收器,因此可以自动重置、自动跑、自动判断是否完成。
混合 RL 分支里,真实 App 和模拟 App rollout 比例是 50%/50%。这一步的核心是让模型在真实反馈之外,多获得可重复、可验证、成本更低的交互经验,而不是让模拟环境替代真实手机。
真实 App 与 PhoneWorld 的互补关系:前者提供真实设备行为和副作用,后者提供可重置、可自动验证的大规模交互。
PhoneWorld 扮演的角色:把“可练习”这件事补上
很多手机 Agent 的训练困境,和人类练车有点像。
真实 App 像真实路况:一个按钮点错,可能真的发消息、改文档、触发订单。 PhoneWorld 更像训练场,允许模型反复练搜索、填写、筛选、确认这些动作,而不必每次都冒真实账号的风险。
PhoneWorld 在 PhoneBuddy 里就是这个训练场。它从真实 GUI 使用结构里恢复屏幕、动作、状态变化和任务验收规则,生成可运行的模拟手机环境。它的优势不在于百分百复刻真实 App ,而在于让模型能反复练一批可检查的任务。
这对 RL 很关键。强化学习怕奖励噪声,也怕环境不可复现。真实手机…