7.7
深览指数
科技微博·机器之心Pro··AI 生成
98年哈工大教授带队，破晓智能要把触觉写进机器人基础模型
破晓智能（PHANES AI）创始人、哈工大（深圳）教授杨朔团队发布触觉基础模型TouchWorld，在机器人灵巧操作中引入触觉的“预判”与“实时纠错”双路径，在六项真机任务中平均成功率超过最强基线约16个百分点。文章详细拆解了触觉难以融入VLA的技术原因——信息密度与处理速度不匹配——以及团队如何通过三层架构（1Hz规划、10Hz执行、30Hz触觉修正）解决这一问题。对关注具身智能、机器人触觉应用、数据驱动AI的读者有直接参考价值。原文 ↗
核心观点
- ▍触觉不能简单塞进VLA（视觉-语言-动作）模型，因为触觉信息稀疏、处理速度与视觉/语言不同频，硬融合会导致触觉被视觉淹没；必须采用分层架构，将规划、执行、触觉纠错分配到不同时间尺度上。
- 01TouchWorld采用三层架构：1Hz高层规划任务并预测视觉-触觉目标，10Hz中层生成主体动作，30Hz触觉反应层根据实时接触和关节状态修正动作。
- 02在六项真机任务（浇花、桌面清理、电源插头插入、杯子插入、擦锅、抽纸巾）中，TouchWorld在无扰动场景下成功率为65.0%，加入人为扰动后为57.2%，分别超过最强基线15.7和16.0个百分点。
- 03消融实验显示，去掉触觉输入后成功率降至43.3%（无扰动）和30.0%（有扰动）；去掉30Hz触觉修正层后降至55.3%和40.3%。
- 04EgoTouch数据集覆盖208项操作任务、1891段交互、超过20小时视频、约210万帧数据，通过穿戴式采集系统（头戴相机、腕部相机、姿态追踪手套）同步记录多路RGB视频、双手3D姿态和压力分布。
- 05TouchAnything模型从普通视频中学习视觉与触觉的对应关系，预测双手压力分布图，为无触觉标注的视频补充触觉监督提供可能。
- 06TouchWorld中的触觉世界模型先在20.2小时EgoTouch人类交互数据上预训练，再使用10小时机器人演示数据微调。
- 07论文发现，经过任务阶段监督和记忆增强的4B子任务规划模型准确率达91%，反而超过零样本32B模型的84%，表明在分层系统中模型大小并非唯一关键因素。
反方 / 局限
- — TouchWorld目前65%的平均成功率仍远不足以解决真实的灵巧操作问题，团队承认这只是一个阶段性成果而非终点。
- — 触觉硬件本身存在噪声、漂移和批次差异，高自由度、全掌触觉且足够稳定的灵巧手难以直接购买，团队需自行改硬件、搭管线，增加了工程落地难度。
11 分钟 · 3 卡片 · 6 资料
读原文 →