南京大学与商汤科技等多家机构于2026年10月9日提交论文,联合发布了开源手机智能体 OpenMobile-2。该项目基于开源基座 Qwen3.5-9B 与 Qwen3.6-27B 构建,在 AndroidWorld 模拟器基准测试中跑出 79.9分 的高分,甚至超越了闭源旗舰模型 Gemini 3.1 Pro Preview 的 70.7分。这项成果被不少开源社区视为小模型在手机自动化操控领域反超闭源专有模型的标志。

然而,剥开模拟器评测的漂亮数据,真正的行业现实远非逆袭那么简单。一旦将模型放进物理真机环境评测基准 SPA-Bench L3,OpenMobile-2-27B 的成功率立刻滑落至 59.6%,落后于 Gemini 3.1 Pro Preview 的 70.2% 和 GPT-5.6-Sol 的 68.1%。这说明开源手机智能体并未在核心泛化规划上取得自主突破,它更像是一次高超的逆向工程沙盒仿真,外加对顶尖闭源模型交互能力的高密度蒸馏。

逆向重构35款应用:用仿真沙盒绕过真实环境死穴

手机智能体之所以长期无法像编程或下棋模型那样通过强化学习实现自我进化,关键在于真实移动操作系统的训练环境极度苛刻。真实应用充斥着账号登录、短信验证码、生物识别与真实支付,且系统全局状态无法在执行失败后一键重置。倘若直接在真机上进行大规模探索,智能体不仅会频繁触发平台风控导致封号,还可能造成不可逆的扣费损失。

OpenMobile-2 训练环境与数据构成 MobileGym++ 环境 覆盖应用总数 110+ 63款高保真模拟客户端 62款模拟器运行应用 50+应用集成300+原生工具 重构淘宝、京东、美团等35款 轨迹数据蒸馏 SFT 训练步总数 118k 共计 11,643 条交互轨迹 7,725 条真实模拟器轨迹 3,918 条高保真模拟轨迹 闭源教师模型:Gemini 3.1 Pro 强化学习规模 自动评测任务目标 2,475 RL 训练实际采用 512 个任务 任务后比对数据存储变化 排除传统 LLM 打分幻觉 单次运行自动重置状态

为攻克状态重置难题,研究团队搭建了覆盖 110 多款应用的 MobileGym++ 混合环境。团队耗费大量工程精力,直接逆向重构了 35 款中国主流商业软件,包括淘宝、京东、滴滴、美团,以及 Slack 与 Google Drive 等全球化服务。在这些模拟客户端中,订单数据、虚拟预算与跨应用剪贴板均可在会话间流转,且每次任务结束后环境都会自动复位到初始状态。

这套沙盒环境让模型具备了安全试错的场所,并为行业厘清了一个关键结论:应用的多样性比数据总量更重要。消融实验显示,在固定 2,000 条轨迹的数据预算下,仅将训练涉及的应用数量从 15 款增加到 53 款,模型在未见过的陌生应用上的任务完成率就从 60.7% 跃升至 67.5%。盲目给少数几个应用堆砌点击样本,远不如让智能体见识更多软件界面的交互逻辑。

  • 结论.手机智能体算法团队不应再盲目堆砌特定软件的点击数据,扩充训练界面的类别分布才是提升泛化性能的有效路径。

闭源教师的投影:跑分繁荣背后的能力依赖

OpenMobile-2 展现出的惊人表现,不能简单归因于开源基座自身的架构演进。训练集中包含的 11,643条 监督微调轨迹,并非来自人类标注员的人工实操,而是完全由 Google 的闭源模型 Gemini 3.1 Pro Preview 作为教师模型自动探索并清洗生成。

这暴露出当前开源手机智能体的一个深层矛盾:它们本质上是闭源旗舰交互能力的知识蒸馏容器。在传统模拟器 AndroidWorld 上,OpenMobile-2-27B 依靠这套精细微调数据取得了 79.9 ± 3.0% 的 Pass@1(其微调检查点单项测试曾达 80.8%),大幅拉开与基座 Qwen3.6-27B 的距离,甚至反超了未针对该基准进行重度微调的 Gemini 3.1 Pro 原型。但由于论文缺乏将教师模型能力剥离的隔离消融实验,我们很难断定这种跳跃究竟是模拟器沙盒的功劳,还是吸收了 Gemini 3.1 Pro 卓越的高阶规划能力。

模拟器里的反超是蒸馏数据的红利,真机环境的失分才是模型内生能力的标尺。

当评估场景从封闭的沙盒转移到未受控制的物理硬件时,代差迅速显现。

真机 vs 模拟器:跑分顺位彻底倒挂 AndroidWorld(模拟器沙盒环境) OpenMobile-2-27B 79.9% Gemini 3.1 Pro Preview 70.7% SPA-Bench L3(真实物理设备基准) Gemini 3.1 Pro Preview 70.2% GPT-5.6-Sol 68.1% OpenMobile-2-27B 59.6%(落后 10.6%)

在 SPA-Bench L3 真机测试中,尽管 OpenMobile-2-27B 较原始基座的 31.9% 实现了大幅提升,但在处理长交互链路时,与 Gemini 3.1 Pro Preview 相比仍然存在 10.6个百分点 的显著落后,也敌不过 GPT-5.6-Sol 的 68.1%。模拟器环境抹去了网络抖动、动态渲染时延、突发系统弹窗等偶发干扰,而物理真机上这些细微扰动会成倍放大端侧模型的决策漂移。

更严峻的现实在于,尽管研发团队对指令数据进行了相似度审查,证实 SFT 训练集与常规基准之间的高相似度指令占比仅在 0.39% 至 2.25% 之间,但作为核心真机检验标准的 SPA-Bench 并没有被纳入去重审计名单。加之其 GitHub 开源仓库目前仍未完整公开 SPA-Bench 的自动化测试流水线与端到端强化学习执行脚本,外界想要完全复现这一真机表现仍有阻碍。


混合调用的权衡:原生工具与系统级防御

除了点击屏幕,OpenMobile-2 的另一项关键突破在于混合交互模式。以往基于纯图形界面(GUI)的智能体效率低下,一个加购物车动作可能需要滑动两屏并点击三次。团队在 50 多款应用中预先植入了 300 多个原生工具接口,例如直接调用商品搜索或拉取订单列表。

受控实验证明,模型在具备工具调用权限且接受专门训练后,任务解决率提升了 10.3个百分点,平均操作步数减少约 5 步。在强化学习阶段,研究团队仅在 512 个任务子集中设置了奖励机制,一旦智能体成功调用直接指令即可获得增益惩罚因子,而虚报完成状态则会触发严厉惩罚。

混合智能体交互逻辑对比 纯 GUI 模式(像素定位) 截图分析 → 坐标预测 → 滑动点击导航 缺点:链路极长、界面加载易卡死漂移 混合模式(GUI + 原生工具) 常态走 API 指令,无接口时降级走点击 收益:步数减少约5步,成功率高10.3%

这种操作路径虽快,却把问题推向了现实中的商业博弈。在商用 Android 系统中,这些高效的内部指令接口并不对外开放。正如微软研究院此前研究所指出的,API 代理高效但脆弱,GUI 代理灵活却缓慢。硬件厂商如 OPPO 推出的 X-OmniClaw 选择依赖系统深度链接(Deeplink)来跳过菜单,而 Google 则试图直接在底层的 Gemini 3.5 Flash 中集成系统控制权。

  • 风险.原生工具调用在沙盒中运转良好,但在实际商业生态中,第三方软件开发者出于流量变现和风控安全考量,不会轻易向操作系统级智能体开放直接操作内部数据的通道。

对于手机厂商的算法团队而言,OpenMobile-2 证明了无需依赖闭源巨头昂贵的环境授权,通过高保真逆向工程自建训练场是一条可行的工程破局点。然而,对于期待开源模型彻底接管日常手机操作的用户来说,目前该模型在物理设备上不到六成的成功率意味着它仍然难以胜任复杂的真实场景。只要开源智能体在基础规划能力上依然依附于闭源模型的蒸馏输入,跨越真实环境与模拟沙盒之间的鸿沟就仍需时日。