7.7
深览指数
科技微博·机器之心Pro··AI 生成
不用人工标注，GUI Agent跑起数据飞轮：快手、浙大开源MobileForge
浙江大学与快手等团队提出 MobileForge，一种无需人工标注的手机 GUI Agent 适配方法。其核心是构建闭环数据飞轮：Agent 在真实 App 中自探索、自生成任务，并通过层级反馈引导策略优化，将失败经验转化为训练信号。在 AndroidWorld 上，通用模型 Qwen3-VL-8B 的 Pass@3 从 55.2% 提升至 67.2%，专用模型经适配后达到 77.6%。该方案揭示了 GUI Agent 从依赖静态数据集，转向在动态 App 生态中自适应的进化路径。适合关注 AI 前沿技术、模型训练与数据飞轮策略的读者。原文 ↗
核心观点
- ▍手机 GUI Agent 适配的核心瓶颈在于人工标注成本过高，MobileForge 提出一套无需人工编写任务、专家演示或奖励标签的闭环数据飞轮系统，实现无标注适配。
- 01MobileForge 由两个耦合组件构成：MobileGym（交互与评估底座，负责探索、生成任务、分层评估）和 HiFPO（层级反馈引导策略优化，负责调度多次尝试并利用纠错提示进行 step-level GRPO 训练）。
- 02MobileGym 通过探索目标 App 的真实可达状态生成任务，与传统方法不同，其探索轨迹不作为专家示范，而是作为任务生成的证据池。
- 03MobileGym-Critic 提供三层级反馈：轨迹级 outcome label、步骤级 process label 和纠错 hint，能拆解成功/失败轨迹中的有效局部动作。
- 04HiFPO 的关键设计是保留全失败和部分成功任务，而非仅保留成功轨迹，通过步骤级反馈从中提取合理动作作为训练样本，并利用前一次失败生成的纠错提示作为下一次尝试的上下文。
- 05在 AndroidWorld 域内适配中，通用模型 Qwen3-VL-8B 的 Pass@3 从 55.2% 提升至 67.2%，接近闭源数据训练的 GUI 专用模型 GUI-Owl-1.5-8B 的 69.0%。
- 06GUI-Owl-1.5-8B 经 MobileForge 适配后，ForgeOwl-8B 在 AndroidWorld 上达到 77.6% Pass@3，并在未训练的 MobileWorld 跨域任务上取得 41.0% 成功率。
- 07消融实验显示，加入纠错提示后，多次尝试的总成功率从 52.0% 提升至 77.0%，说明效果来自经验的累积而非随机采样。
反方 / 局限
- — 跨域泛化结果强烈依赖基础模型的手机 GUI 能力。对于通用视觉语言模型（如 Qwen3-VL-8B），虽然评估指标有提升，但绝对值仍较低，迁移收益受限。
- — 当前系统在长程状态、跨 App 协调和非标准任务规则（如 game-playing、multi-app）方面表现仍然较差，这是实现更通用 Agent 的瓶颈。
16 分钟 · 4 卡片 · 8 资料
读原文 →