7.4
深览指数
科技微博·机器之心Pro··AI 生成
机器人需要「看到三维未来」！RynnWorld-4D重塑4D具身世界模型
阿里巴巴达摩院提出RynnWorld-4D，在单一扩散框架内同步生成RGB视频、深度图与光流场，输出包含几何结构与运动轨迹的4D预测，以此解决2D视频世界模型缺乏深度与运动场、无法支撑精密操控的根本问题。该模型在六项真实世界双臂灵巧操作任务中验证了性能提升，尤其在双手物体传递等需推理三维空间关系的任务中显著优于2D基线。文章详细介绍了RGB-DF表征设计、三分支Transformer架构、分阶段训练策略及2.54亿帧数据的标注管线。适合关注具身智能、机器人操控、4D世界模型前沿研究的AI从业者阅读。原文 ↗
核心观点
- ▍机器人世界模型必须从2D视频预测升级为同时输出RGB、深度与光流的4D预测，才能弥合像素预测与3D物理世界之间的表征鸿沟，支撑精密操控。
- ▍RynnWorld-4D采用RGB-DF（RGB+深度+光流）表征而非NeRF/3DGS，是为了保持2D对齐形态以复用现有大规模视频扩散模型（如Wan 2.2）的生成先验。
- 012D视频世界模型存在三大根本局限：缺乏深度信息、缺乏显式运动场、易产生物理幻觉（如物体穿模、尺度变形），对机器人精确控制构成噪声。
- 02RynnWorld-4D架构为三分支Transformer，各分支独立处理RGB、深度、光流，通过联合跨模态注意力（JA）模块强制对齐，并施加帧级3D RoPE确保空间对应。
- 03消融实验显示，去掉3D RoPE后深度精度（δ1）从0.610降至0.450，光流误差（AEPE）从0.170升至0.210，表明空间级对齐必不可少。
- 04训练采用三阶段策略：模态适配→冻结主干训练JA→全参数联合微调，并引入Branch Dropout机制迫使模型从可见模态重建缺失模态。
- 05自建Rynn4DDataset 1.0数据集，融合人类第一人称视频与机器人操作数据，共2.54亿帧，每帧由Qwen3-VL、Depth Anything 3、DPFlow三重标注生成4D标签。
- 06RynnWorld-4D-Policy通过中间层特征直接输出动作，单次前向推理约1.1秒，有效控制频率约9Hz，无需迭代去噪生成完整视频。
- 07在双手物体传递任务中，RynnWorld-4D-Policy成功率为28.57%，远超π0的2.86%和π0.5的0%，归因于4D latent包含的几何信息。
- 08纹理提供外观语境，深度提供空间锚定，光流提供运动线索，三者联合时达到最佳，模态消融实验显示单独使用RGB latent时成功率降低10-20个百分点。
反方 / 局限
- — 约9Hz的控制频率对超高频精密任务仍是瓶颈，当前单一第一人称视角尚未覆盖多机协作场景。
- — π0/π0.5在灵巧手双臂任务上表现不佳，可能部分归因于其预训练数据以平行夹爪为主，存在灵巧手先验缺失，而非纯2D表征的绝对限制。
RynnWorld-4D阿里巴巴达摩院4D世界模型RGB-DFWan 2.2Diffusion Policyπ0π0.5Epic-KitchensRoboMINDRynn4DDataset 1.0Depth Anything 3DPFlowQwen3-VL天机 M6WUJI HAND
11 分钟 · 3 卡片 · 8 资料
读原文 →