7.4
深览指数
科技微博·量子位··AI 生成
让机器人学会“预判接触”：它石智航TacForeSight，破解精细操作
它石智航联合多所高校提出力条件触觉世界模型TacForeSight，核心是利用高频腕部力觉信号预测未来触觉状态，让机器人从被动反馈转向主动预判接触变化。该模型在真机上实现了近80%的任务完成率，并支持20Hz实时推理用于高频闭环控制。文章详细阐述了从力觉先导到触觉预测的技术路径与实验验证，适合对具身智能、机器人精细操作感兴趣的读者了解该领域的前沿范式进展。原文 ↗
核心观点
- ▍当前机器人接触方法多为“看到问题后再反应”，但TacForeSight首次提出利用力觉作为预测触觉状态的先导信号，让机器人从反应式反馈转向主动式预见接触变化。
- ▍TacForeSight的核心洞察是：力觉与触觉并非重复信息，而是具有时间先后关系；腕部力觉感知整体受力趋势后，指尖触觉才感知局部细节，力觉可提前约200ms预测触觉变化。
- 01TacForeSight架构由两个阶段组成：第一阶段TacForceWM利用高频腕部力/力矩信号预测短时触觉潜变量；第二阶段将预测触觉嵌入动作策略，通过Cross-Attention机制建模当前接触与未来趋势的关系。
- 02模型在花瓶擦拭、卡片滑动、管件插入、灯泡锁紧、柔性线束插入五项接触密集型任务上平均完成率接近80%，显著优于纯视觉模型及KineDex等基线方法。
- 03在高度、角度、姿态三类动态扰动场景下，TacForeSight平均完成率达86.7%，展现出较强的鲁棒性与扰动恢复能力。
- 04触觉潜变量可视化分析显示，在灯泡锁紧和花瓶擦拭任务中，预测触觉潜变量比当前触觉潜变量提前约200ms出现接触相关变化。
- 05模型支持20Hz实时推理，符合机器人高频闭环控制需求，并非离线预测模型。
- 06触觉驱动的自适应门控机制在接触密集阶段增加触觉权重，在远离接触阶段增加视觉权重。
反方 / 局限
- — 论文未明确讨论模型的失败案例或适用边界，例如在超高频接触（如精密装配）或极端变形场景下，20Hz的预测精度是否足够有待验证。
- — 当前实验仅覆盖五个接触类型，对于更复杂、多步连续操作的泛化能力尚未涉及。
7 分钟 · 4 卡片 · 12 资料
读原文 →