科技Bestblogs·AI Engineer··AI 生成
Computer-Use 2.0：从屏幕操控迈向后台智能体
本文介绍计算机使用智能体正从1.0版的截图+点击循环，转向2.0版的后台执行模式。核心是开源跨平台层Quad Driver，它优先通过无障碍API进行操作，必要时才回退到像素级点击，大幅减少token消耗并提升通过率。文章还介绍了用于评测的可复现基准KuaBench（覆盖42个环境、130多项任务）以及将沙盒启动视为基础设施问题的KuaFleet，后者通过按需预热池减少GPU闲置。适合关注AI智能体工程化、评测与基础设施的从业者阅读。原文 ↗原文 ↗
核心观点
- ▍Computer-Use 2.0 的核心转向是从可见桌面的截图循环（1.0）转向后台执行，让智能体通过操作系统接口完成工作，不长期占用用户屏幕。
- 01Quad Driver 优先使用无障碍树状态与截图结合，尝试通过无障碍 API 后台执行，必要时才回退到像素级点击。
- 02相比1.0，使用Quad Driver后token消耗减少34%，任务通过率从62%跃升至80%。
- 03KuaBench 将可复现的GUI任务组织为环境搭建代码、基准轨迹与评估器，覆盖42个环境和5个平台的130多项可验证任务。
- 04KuaBench 包含对抗性检查流程，在任务进入数据集前会用多种智能体组合尝试攻破其评估器，以抵抗奖励黑客问题。
- 05KuaFleet 通过按需预热池为强化学习（RL）工作节点预配环境，减少昂贵GPU因等待沙盒启动或重置而闲置的时间。
- 06演讲中提及了电路设计任务的难度，并展示了专用计算机工具带来的改进。
反方 / 局限
- — 文章未深入讨论Quad Driver后台执行方案在复杂应用（如需要大量图形渲染的软件）中的兼容性局限，也未提及无障碍API在非标准或老旧系统上的支持问题。
前置背景
应用场景
平行视角
延伸追问