5.7
深览指数
科技量子位·henry··AI 生成
李飞飞署名具身新论文：Sim2Real烧不起，Real2Sim量大管饱
论文提出SimFoundry系统，只需一段真实世界视频即可自动生成可交互、可训练的机器人仿真环境。核心创新在于「数字表亲」机制：在保持物体功能不变的前提下，自动替换物体、调整布局、衍生新任务，从而从一段视频扩展出近乎无限的训练数据。实验表明，基于SimFoundry数据训练的策略可零样本迁移到真实机器人，且成功率接近满分。本文适合关注具身智能、Sim2Real技术路径的AI研究者和工程师阅读，有助于理解Real2Sim路线的最新实践与局限。原文 ↗
核心观点
- ▍Real2Sim（从真实到仿真）正取代Sim2Real成为机器人训练新范式，SimFoundry系统通过自动生成数字孪生和数字表亲，将一段视频扩展为无限训练场景，并实现零样本真实世界迁移。
- 01SimFoundry只需一段RGB视频作为输入，利用深度估计、VLM分割、2D-to-3D重建等技术，自动生成完整的、可交互的仿真环境。
- 02核心创新Augmentation阶段会从三个维度生成数字表亲：改变物体外观但保持功能（Object Cousins）、调整布局或加入新物体（Scene Cousins）、根据Affordance自动推导新任务（Task Cousins）。
- 03在策略评估实验中，SimFoundry的仿真表现与真实世界平均皮尔逊相关系数达0.911，优于此前最先进的评测框架PolaRiS。
- 04引入Object、Scene和Task Cousins后，真实世界任务成功率分别提升17%、21%和40%。仅用生成数据训练的策略，零样本部署即可在多种操作任务上接近满分。
- 05系统集成了NVIDIA IsaacLab物理引擎，并支持对关节物体（如抽屉、柜门）的关节结构自动推导。
反方 / 局限
- — 论文未明确讨论：对于高度变形或非刚性物体（如布料、液体），当前重建与仿真方法的有效性；以及仿真环境中的物理属性（如摩擦力）与真实环境的差距如何量化。
李飞飞Jim FanSimFoundryNVIDIA GEAR实验室佐治亚理工大学斯坦福大学UT Austin多伦多大学IsaacLabDigital Cousins（数字表亲）PolaRiSFoundationPoseSAM 3
9 分钟 · 4 卡片 · 10 资料
读原文 →