豆包手机指字节跳动 × 中兴努比亚的 nubia M153(2025-12-01「工程样机」限量上市,3499 元,首批 3 万台 24h 售罄)。它不是一款普通手机,卖点是系统级 AI 智能体的「操作手机 / Phone Use」能力——动嘴让 AI 跨 App 自动比价、下单、发文件。
- 实现本质 = ROM 层开放的无障碍权限(读屏 + 模拟点击)+ 多模态 VLM 读屏理解(底层方向对标字节自家 UI-TARS)+ 端云协同。属于 GUI Agent(模拟人操作)路线,而非「调用官方 API」路线。
- 上市即被封:微信、淘宝/支付宝/闲鱼、拼多多、多家银行、王者荣耀等以「登录环境异常 / 风险环境」拒绝登录或踢下线。这并非临时针对,而是既有风控规则被 Agent 的「机器特征」自然触发。
深层是「Agent vs App 必有一战」:
智能体一旦成为统一入口,平台同时失去广告、推荐、会员、定价权与用户数据。封禁是防御,开放协议(MCP / App Intent / 双重授权)是未来方向,但商业利益再分配未解。
- 豆包手机的实现原理
1.1 手机 GUI Agent 的通用四阶段流水线
每一步的循环(感知→定位→规划→执行→再感知)是长程任务的核心;一次点外卖/订机票可能需要数十步连续操作,误差会逐步累积,这也是后文「为什么容易被风控识别」「为什么 benchmark 难做高」的根源。
1.2 技术路线
1.3 端云协同方案
豆包公开材料强调「端侧加密处理、用户可控、不存储操作记录」(隐私白皮书口径),但端/云具体分工的技术细节未充分公开。可参照同类与学术:
- 荣耀 YOYO 公开「端云协同矩阵」:端侧小模型(图像理解 + 隐私)+ 云端多个 LLM(意图理解 / 规划)。
- 学术参照 EcoAgent(arXiv:2505.05440)等「端云协同多智能体」框架。
- 结论:豆包「端云协同」目前只有宣传口径,缺可验证技术披露,引用须标注。
2、开源opencyvis方案
OpenCyvis 是一个开源的 AI 手机方案。用户可以自由选择 LLM 后端(云端或本地),AI 在后台虚拟显示器上操作,不占用前台屏幕。Apache 2.0 协议,代码完全公开。
OpenCyvis 同时提供两种输入:截图让模型理解当前界面的语义和布局,UI 元素树(Accessibility Tree)提供每个控件的精确坐标、类型和层级关系。两者互补——视觉信息解决"这是什么",结构信息解决"它在哪里"。此外,当模型陷入死循环时,本地快速哈希相似性检测也可以为模型作出有效提示。
2.1 相关概念
1)a11y树
a11y 是 accessibility 的数字缩写(首尾字母 a 和 y,中间 11 个字母),所以 a11y 树 就是无障碍树。a11y 树是浏览器基于 DOM 树和 CSSOM 生成的一棵平行的树结构,专门用来向辅助技术(如屏幕阅读器、语音控制软件、盲文设备等)暴露页面信息。
普通的网页是通过 HTML 渲染出来的,普通用户通过视觉来阅读网页。但对于视障用户,他们需要依赖屏幕阅读器(如 NVDA、JAWS、VoiceOver)来“听”网页。
屏幕阅读器并不会直接去读取复杂的 HTML 代码或 DOM 树,因为里面包含了太多用于样式、布局或脚本的干扰信息。相反,浏览器会把 DOM 树转换成一棵“a11y 树”,屏幕阅读器等辅助技术通过读取这棵树,来向用户朗读网页内容或进行交互。
工作流程: HTML -> DOM 树 -> a11y 树 (Accessibility Tree) -> 操作系统 API -> 屏幕阅读器 -> 用户
和dom树的区别:
举例
2) IME+ADB概念
利用 ADB 的高权限通道,在手机后台运行一个中转服务(Server),通过网络(IP+端口)接收指令,然后利用“虚拟输入法”和“系统注入权限”来模拟人的操作。手机上安装一个“injectorIME + ADB”类工具,打开后能通过 IP + 端口远程操控手机,本质上是把 Android 调试桥(ADB) 的通信能力、事件注入机制 以及一个自定义输入法(IME) 组合在一起,提供一个网络化的控制接口。下面拆解它的实现原理,再回答能否在打开 App 后上传文件/视频。
核心原理是利用了Android系统的输入法机制(Input Method Framework)作为桥梁,并在输入法后台运行了一个网络服务器(Web Server/Socket Server)。
手机安装了一个输入法 App → 这个 App 同时启动一个 HTTP/WebSocket/TCP 服务 → 电脑/其他设备访问 手机IP:端口 → 发送“输入文本、按回车、删除、粘贴”等命令 → 输入法把这些命令注入到当前焦点输入框里。
在Android系统中,输入法是一个拥有极高权限的后台服务(InputMethodService)。
- 高权限/免Root:一旦用户在系统设置中启用了该输入法,并将其设为默认,该输入法就自动获得了向当前活动窗口发送按键、字符、甚至模拟点击的天然权限,且不需要手机获取Root权限。
- 常驻后台:输入法服务由系统管理,生命周期极长,不易被系统杀后台,这保证了远程控制连接的稳定性。
相比于传统的远控软件(如 TeamViewer、向日葵),使用输入法注入有独特的优势:
- 绕过系统安全限制(免Root):Android 处于安全考虑,极难让普通 App 模拟全局按键。但系统对“默认输入法”是完全信任的;
- 极低的延迟:直接通过局域网 Socket 传输指令,延迟通常在几毫秒以内,比视频流远控快得多;
- 轻量级:不需要传输屏幕画面(通常只传指令),对手机性能和电量消耗极小;
- ADB 提供远程控制通道
- InjectorIME 提供稳定文本输入能力
- input/uiautomator/Appium 提供点击、滑动、控件操作能力
- adb push/pull 提供文件传输能力
3) 虚拟屏
VirtualDisplay 是 Android 系统原生提供的一个 API,允许在系统内部创建额外的逻辑显示器。它本来的用途包括 Chromecast 投屏、分屏模式、以及 Android Automotive 的多屏显示等。每个 VirtualDisplay 拥有独立的显示 ID,应用可以被迁移到任意一个 Display 上独立运行。
1)两种运行模式(前台 vs 虚拟显示器)
- 前台模式:Agent 直接操作物理屏(Display 0),适合人机协作、你盯着看。
- VD 模式:Agent 在后台独立虚拟屏运行,你能随时切进去 VIEW(观看)或 TAKEOVER(接管),处理完交还,AI 从断点续跑。
display/VirtualDisplayManager 创建离屏虚拟屏。关键设计:
- Surface 用 ImageReader(8 buffer,RGBA_8888)零拷贝读帧;
- 帧缓存防饿死(很妙的坑):acquireLatestImage() 只在"上次 acquire 后有新帧"才返回非 null。如果屏幕静止(如 launcher 不动),连续重试会全拿到 null 导致任务被中断。
- 解法是用 OnImageAvailableListener 在后台线程持续 drain 并缓存最新一帧到 cachedBitmap,截图返回缓存副本——这样静态画面也能拿到帧;
- Mirror VD(标准模式特有):再镜像一块半分辨率、500ms 节流的 VD,确保用户切到 VIEW 模式(主 VD surface 被 SurfaceView 占用)时,Agent 仍能拿到新截图而非旧缓存。
- VD flags 参考豆包 mFlags=120533:PUBLIC | SECURE | AUTO_MIRROR | SUPPORTS_TOUCH | SHOULD_SHOW_SYSTEM_DECORATIONS | OWN_FOCUS | ALWAYS_UNLOCKED | ...。
- 其中 OWN_FOCUS(不抢主屏焦点)、ALWAYS_UNLOCKED(免解锁)、SHOULD_SHOW_SYSTEM_DECORATIONS(显示导航栏/状态栏/输入法)是后台跑通的关键。
- IME…