7.3
深览指数
科技量子位·思邈··AI 生成
国内最年轻AI教授创业：要让世界模型走向全身全模态
破晓智能发布全身全模态数据采集系统SeePhys Hub，旨在解决机器人学习过程中，仅依赖第一视角(Ego)数据缺失身体运动和触觉信息的痛点。该系统通过稀疏传感器方案（头环、手环、腿部追踪器、可选触觉手套）采集更完整的人机交互数据，尝试在规模化采集成本与数据信息密度之间取得平衡。文章详细介绍了产品的技术取舍、工程化挑战，并揭示了创始团队（AI教授杨朔）从数据采集切入、最终目标是构建全模态世界模型的战略路径。原文 ↗
核心观点
- ▍破晓智能的核心判断是：要让机器人学会全身移动灵巧操作，仅靠以视觉为主的Ego数据（第一视角数据）是不够的，必须补回身体运动和触觉信息；这意味着需要在规模化数据采集的轻量化路线之上，重新引入被简化掉的模态。
- ▍破晓智能的战略路径是：现阶段不造机器人本体，而是先做数据采集设备（SeePhys Hub）来获取训练世界模型所需的高质量数据，最终目标是推出全模态世界模型（预计2027年），这是一种“曲线救国”的技术路线赌注。
- 01SeePhys Hub采用稀疏节点方案：在头、腕、腰、小腿共布置7个传感器节点（四目头环220g以下、双腕手环75g以下），通过IMU、UWB和视觉融合算法恢复全身姿态，而非使用高成本、限制动作的全套动捕设备。
- 02头环内相机、IMU和UWB的同步精度不超过0.5毫秒，这个工程细节是确保多模态数据（视觉、运动、触觉）能够有效对齐与融合的关键。
- 03触觉手套采用可选设计，原因是团队从数据采集运营方反馈得知，戴手套会影响精细操作（如洗碗场景），且手套本身可能产生噪声（如抓过水杯后仍显示局部压力），这表明工程取舍是产品设计的重要考量。
- 04破晓智能创始人杨朔，1998年出生，现任哈工大（深圳）长聘教授、博导，是国内AI领域最年轻教授，团队90%以上核心成员来自清华、北大、港大、哈工大等高校。
- 05破晓智能此前的研究积累包括EgoTouch数据集（同步第一视角视频、双手姿态与触觉压力）、TouchAnything（从视频估计触觉）以及TouchWorld（触觉反馈参与机器人行动决策）。
- 06杨朔将数据采集分为三层金字塔：底层是量大但信息有限的互联网视频，顶层是高精度但成本高的动捕/真机数据，SeePhys Hub瞄准中间层——兼顾规模化采集潜力与更完整的交互记录。
反方 / 局限
- — 文章承认，触觉手套在防水等特定场景下仍存在工程挑战（噪声、影响操作），这表明“增加新模态”与“保持自然操作”之间仍存在难以完全消除的张力。
- — 文章隐含的一个不确定因素是：即使采集到了更完整的数据，现阶段的模型是否、以及如何高效利用这些多模态数据来学到真正的物理交互能力，仍是未验证的问题。
10 分钟 · 5 卡片 · 11 资料
读原文 →