7.4
深览指数
科技微博·机器之心Pro··AI 生成
10000小时人类数据，练出全球首个全身移动操作隐式世界动作模型
智在无界发布了全球首个面向人形机器人全身移动操作的隐式世界动作模型 Being-M0.7，使用超10000小时人类第一人称视频与运动数据进行预训练，再以少量真机数据完成本体适配。该模型的核心创新在于 Vision-Motion MoT 架构，能够兼容视觉-运动配对、纯视频和纯运动三类数据，并采用在隐空间预测未来状态的方式，大幅降低了计算开销。文章通过四个真机 Demo（鱼缸捞鱼、镜像取物、移动置物、搬箱避障）验证了其理解环境、预测变化并协调全身行动的能力，并判断人形机器人的竞争焦点正从硬件转向可规模化的模型与数据体系。适合关注具身智能、人形机器人技术路线与产业趋势的读者阅读。原文 ↗
核心观点
- ▍人形机器人的竞争焦点正从整机硬件转向模型能力，能否理解环境、预测变化并协调全身动作，以及背后可规模化的数据体系，将成为拉开差距的关键。
- ▍智在无界的技术路线核心判断是：机器人真机数据昂贵稀缺，不如先让模型从大规模人类行为数据中学习世界的运行方式，再迁移到机器人本体。
- 01Being-M0.7 使用超10000小时的混合模态预训练数据，涵盖人类第一人称视频、视频-运动配对数据以及纯运动序列，数据来源包括Ego4D、Xperience、Nymeria等公开数据集和内部数据。
- 02模型采用 Vision-Motion MoT（混合Transformer多模态架构），为视觉和运动保留各自的模态专属模块，同时通过共享注意力进行跨模态交互，能兼容三类不同完整度的数据。
- 03与依赖像素级视频生成的传统世界模型不同，Being-M0.7在隐空间中预测未来环境状态，将计算集中在语义状态、物体布局等与控制相关的结构上，降低了计算开销。
- 04真机数据采集基于PICO VR全身遥操作系统，操作员通过头显、脚踝追踪器和手持控制器将人体姿态转换为宇树G1的29自由度全身控制指令。
- 05四个真机Demo（鱼缸捞鱼、镜像取物、移动置物、搬箱避障）验证了在液体交互、部分可观测空间推理、长程多任务切换及动态避障等场景下的全身协调能力。
- 06模型采用流匹配（Flow Matching）目标进行训练，根据短时间历史预测未来状态变化与运动轨迹，并通过统一运动表征（仅保留头部、双手和双脚）弥合人类与机器人形态差异。
- 07轻量级动作专家（Action Expert）读取Latent WAM的中间隐藏状态作为高层规划上下文，实现低频世界规划与高频动作控制的解耦。
反方 / 局限
- — 文中未直接讨论该路线与直接学习机器人数据的端到端模仿学习路线的详细对比，也未涉及Vision-Motion MoT架构在超大规模（如百万小时）数据下的扩展性是否会遇到新的瓶颈。
- — 隐空间预测的「语义状态与物体布局」是否能完全捕捉真实物理世界中所有与控制相关的关键细节，尤其是在需要极高精度接触（如装配）的场景下，可能存在信息损失。
12 分钟 · 4 卡片 · 11 资料
读原文 →