7.6
深览指数
科技量子位·henry··AI 生成
李飞飞的世界模型，终于开始训练机器人了
李飞飞旗下 World Labs 发布机器人策略训练与评估引擎 R2S2R，打通从仿真训练到真实部署的闭环。该引擎结合新收购的 SceniX 技术，通过 Real-to-Sim 重建真实任务环境，再于 Sim-to-Real 中规模化训练和评估策略，最终实现零真实数据训练、连续自主运行 1 小时的机器人操作。文章详细拆解了 R2S2R 的技术架构，并论证了高质量仿真不仅是数据替代方案，更是具身智能规模化经验获取和评估的关键基础设施。适合对机器人学习、世界模型技术路线感兴趣的读者阅读。原文 ↗
核心观点
- ▍R2S2R 引擎首次打通了 World Labs 从生成虚拟世界到训练、评估和部署真实机器人的闭环，是李飞飞世界模型分类中「仿真器」功能的关键实现。
- ▍当前机器人发展的主要瓶颈并非模型架构，而是缺乏可规模化获取的经验和评估方法，仿真引擎的价值在于主动制造现实中昂贵、危险或难以重复的场景。
- 01R2S2R 包含 Real-to-Sim 和 Sim-to-Real 两部分：前者将现实中的机器人、传感器和交互过程重建为可交互虚拟世界；后者利用该世界训练策略并部署回真实硬件。
- 02在没有真实数据参与的情况下，仅靠仿真训练的策略已在 ALOHA、RB-Y1、YAM、Flexiv、xArm 等机器人平台上完成装箱、绕线、试管转移等任务。
- 03在电源线绕行、线缆插拔、试管转移等任务中，机器人连续自主运行 1 小时，未出现失败，也无需人工干预。
- 04在 ALOHA 双臂方块交接任务中，团队测试了 GR00T N1.6 和 π₀.₅ 两种策略，仿真中表现更好的 checkpoint 在真机上通常也表现更好，且成功/失败分布相似。
- 05仿真不仅复现了机器人成功或失败的结果，还还原了「险些失败」的中间过程，机械臂抓取位置偏差等细节在仿真中得到体现。
- 06World Labs 收购了专注于机器人仿真、训练与评估的初创公司 SceniX，其联合创始人李昀烛是哥大助理教授，曾在斯坦福跟随李飞飞从事博士后研究。
- 07SceniX 最初是 World Labs 生成式世界模型 Marble 的客户，双方因技术互补性展开收购。
- 08李昀烛表示，收购不意味着 World Labs 要亲自造机器人，其目标是建设与机器人形态和模型架构解耦的基础设施。
反方 / 局限
- — 仿真与现实之间的视觉、几何和物理动态差距仍然是挑战，尤其在处理电缆、柔性物体等复杂交互时，传统仿真难以准确模拟形变。
- — 文章未提及 R2S2R 在高度动态、非结构化环境（如户外、家庭）中的泛化能力，现有验证集中在仓库、实验室和电子装配等半结构化场景。
11 分钟 · 4 卡片 · 12 资料
读原文 →