Harness 与 Agent 工程 · 运行控制与长任务 · 2026-07-16

豆包手机和AI手机GUI-Agent

豆包手机以系统级AI智能体实现“动嘴操作”,但技术路线与商业博弈引发行业封禁与未来争议。

核心内容:

  1. 豆包手机的技术原理与GUI Agent路线
  2. 行业封禁背后的商业利益冲突
  3. 开源AI手机方案的替代路径

豆包手机指字节跳动 × 中兴努比亚的 nubia M153(2025-12-01「工程样机」限量上市,3499 元,首批 3 万台 24h 售罄)。它不是一款普通手机,卖点是系统级 AI 智能体的「操作手机 / Phone Use」能力——动嘴让 AI 跨 App 自动比价、下单、发文件。

深层是「Agent vs App 必有一战」:

智能体一旦成为统一入口,平台同时失去广告、推荐、会员、定价权与用户数据。封禁是防御,开放协议(MCP / App Intent / 双重授权)是未来方向,但商业利益再分配未解。

  1. 豆包手机的实现原理

1.1 手机 GUI Agent 的通用四阶段流水线

每一步的循环(感知→定位→规划→执行→再感知)是长程任务的核心;一次点外卖/订机票可能需要数十步连续操作,误差会逐步累积,这也是后文「为什么容易被风控识别」「为什么 benchmark 难做高」的根源。

1.2 技术路线

1.3 端云协同方案

豆包公开材料强调「端侧加密处理、用户可控、不存储操作记录」(隐私白皮书口径),但端/云具体分工的技术细节未充分公开。可参照同类与学术:

2、开源opencyvis方案

OpenCyvis 是一个开源的 AI 手机方案。用户可以自由选择 LLM 后端(云端或本地),AI 在后台虚拟显示器上操作,不占用前台屏幕。Apache 2.0 协议,代码完全公开。

OpenCyvis 同时提供两种输入:截图让模型理解当前界面的语义和布局,UI 元素树(Accessibility Tree)提供每个控件的精确坐标、类型和层级关系。两者互补——视觉信息解决"这是什么",结构信息解决"它在哪里"。此外,当模型陷入死循环时,本地快速哈希相似性检测也可以为模型作出有效提示。

2.1 相关概念

1)a11y树

a11y 是 accessibility 的数字缩写(首尾字母 a 和 y,中间 11 个字母),所以 a11y 树 就是无障碍树。a11y 树是浏览器基于 DOM 树和 CSSOM 生成的一棵平行的树结构,专门用来向辅助技术(如屏幕阅读器、语音控制软件、盲文设备等)暴露页面信息。

普通的网页是通过 HTML 渲染出来的,普通用户通过视觉来阅读网页。但对于视障用户,他们需要依赖屏幕阅读器(如 NVDA、JAWS、VoiceOver)来“听”网页。

屏幕阅读器并不会直接去读取复杂的 HTML 代码或 DOM 树,因为里面包含了太多用于样式、布局或脚本的干扰信息。相反,浏览器会把 DOM 树转换成一棵“a11y 树”,屏幕阅读器等辅助技术通过读取这棵树,来向用户朗读网页内容或进行交互。

工作流程: HTML -> DOM 树 -> a11y 树 (Accessibility Tree) -> 操作系统 API -> 屏幕阅读器 -> 用户

和dom树的区别:

举例

2) IME+ADB概念

利用 ADB 的高权限通道,在手机后台运行一个中转服务(Server),通过网络(IP+端口)接收指令,然后利用“虚拟输入法”和“系统注入权限”来模拟人的操作。手机上安装一个“injectorIME + ADB”类工具,打开后能通过 IP + 端口远程操控手机,本质上是把 Android 调试桥(ADB) 的通信能力、事件注入机制 以及一个自定义输入法(IME) 组合在一起,提供一个网络化的控制接口。下面拆解它的实现原理,再回答能否在打开 App 后上传文件/视频。

核心原理是利用了Android系统的输入法机制(Input Method Framework)作为桥梁,并在输入法后台运行了一个网络服务器(Web Server/Socket Server)。

手机安装了一个输入法 App → 这个 App 同时启动一个 HTTP/WebSocket/TCP 服务 → 电脑/其他设备访问 手机IP:端口 → 发送“输入文本、按回车、删除、粘贴”等命令 → 输入法把这些命令注入到当前焦点输入框里。

在Android系统中,输入法是一个拥有极高权限的后台服务(InputMethodService)。

相比于传统的远控软件(如 TeamViewer、向日葵),使用输入法注入有独特的优势:

  1. 绕过系统安全限制(免Root):Android 处于安全考虑,极难让普通 App 模拟全局按键。但系统对“默认输入法”是完全信任的;
  2. 极低的延迟:直接通过局域网 Socket 传输指令,延迟通常在几毫秒以内,比视频流远控快得多;
  3. 轻量级:不需要传输屏幕画面(通常只传指令),对手机性能和电量消耗极小;

3) 虚拟屏

VirtualDisplay 是 Android 系统原生提供的一个 API,允许在系统内部创建额外的逻辑显示器。它本来的用途包括 Chromecast 投屏、分屏模式、以及 Android Automotive 的多屏显示等。每个 VirtualDisplay 拥有独立的显示 ID,应用可以被迁移到任意一个 Display 上独立运行。

1)两种运行模式(前台 vs 虚拟显示器)

display/VirtualDisplayManager 创建离屏虚拟屏。关键设计:

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/zhinengyingjian/2026071654238.html