6.6
深览指数
科技量子位··AI 生成
让机器人学会“预判接触”：它石智航牵头四大顶尖机构发布TacForeSight，破解精细操作难题
它石智航联合新加坡国立大学、上海交通大学、中科院自动化所、复旦大学，提出一种“力条件触觉世界模型”TacForeSight，首次利用腕部力觉信号预测未来200毫秒的触觉状态，使机器人从“触碰后再反应”转向“主动预判接触变化”。真机实验在五类精细操作任务中完成率近80%，支持20Hz实时控制。该成果补上了机器人精细操作中“预测接触动态”的关键短板，但距离通用灵巧操作仍有很大距离，且未讨论在非结构化场景下的泛化能力。原文 ↗
核心观点
- ▍TacForeSight 的核心创新在于：力觉信号与触觉信号存在时间先后关系（力觉先、触觉后），因此可用当前力觉预测未来触觉，实现“提前200毫秒预判接触变化”。
- 01TacForeSight 提出 TacForceWM 模块，将双指触觉场编码为紧凑潜变量，利用高频腕部力/力矩信号预测短期内的触觉演化，避免了高维触觉图像生成的实时计算瓶颈。
- 02TacForeSight 支持 20Hz 实时推理，可在高频机器人控制闭环中使用，而非仅离线预测。
- 03在花瓶擦拭、卡片滑动、管件插入、灯泡锁紧、柔性线束插入五类任务中，平均完成率达80%，明显优于纯视觉模型和KineDex、FoAR等基线方法。
- 04在高度、角度、姿态等动态扰动任务中，平均完成率达86.7%，展现了强鲁棒性。
- 05触觉潜变量的时序分析显示，模型预测的接触变化比当前触觉提前约200毫秒，证明模型学到了接触状态演化的趋势，而非简单记忆轨迹。
- 06在按压、扭转、滑动等未见交互片段上，触觉编码器的潜变量在 t-SNE 可视化中形成清晰可分的簇，说明模型具备跨模态的接触模式判别能力。
反方 / 局限
- — 文章未讨论 TacForeSight 在非结构化、高度未知环境（如地面较大倾斜、物体材质突变、突发外力干扰）中的泛化能力。论文实验在受控实验室进行，真实工业环境中的适应性与鲁棒性仍待验证。
- — 文章未提及当力觉传感器出现噪声或故障时的模型退化情况——力觉信号是预测核心，若其不可靠，预测链将断裂。
- — 文章未比较该方法与传统触觉-视觉融合方法在长期时序依赖（如多步操作）下的性能差异——本实验任务均为短时闭环操作。
8 分钟 · 4 卡片 · 12 资料
读原文 →