7.8
深览指数
科技微博·机器之心Pro··AI 生成
换个顺序，VLM就「不会了」：EgoTSR让机器人判断任务是否真的在推进
浙江大学等团队提出了EgoTSR，旨在解决视觉语言模型(VLM)在判断机器人任务状态时依赖图像输入顺序（时序偏见）的问题。研究发现，VLM在正向输入（时间顺序）下准确率接近100%，但交换图像顺序后准确率骤降至约2%。为训练真正的任务理解能力，EgoTSR构建了4600万样本的EgoTSR-Data，并采用三阶段课程学习（显式推理→能力内化→长程规划），最终在长程任务上达到92.4%的准确率，且交换顺序后差距仅0.1个百分点。文章提出了一个极具实操价值的评测方法（双向图像对测试），对当前具身智能的评价体系提出了有意义的批判。适合关注机器人学、具身AI和VLM评估的研究者与实践者阅读。原文 ↗
核心观点
- ▍视觉语言模型在判断机器人任务状态时，普遍存在『时间顺序偏差』，即过度依赖『后出现的画面更接近完成』这一数据规律，而非真正理解物体状态与任务目标的因果关系。
- ▍EgoTSR通过三阶段课程学习（CoT→Tag→LongTag）和『正向』与『反向』图像对评测，可以有效消除VLM的时序偏见，使其学会真正的状态推理。
- 01实验显示，InternVL-8B在正向输入（图像A→B）下准确率接近99%，但交换顺序（B→A）后准确率降至约2%，暴露出严重的顺序依赖。
- 02EgoTSR构建了包含4600万条样本的EgoTSR-Data，其中第一阶段CoT数据约1500万条，要求模型先描述空间状态再给出答案；第二阶段Tag数据约1600万条，只保留最终标签；第三阶段LongTag数据约1500万条，用于长程任务训练。
- 03在长程双向评测中，EgoTSR正向准确率约92.4%，反向约92.3%，差距仅0.1个百分点；而消融实验显示，将三个阶段数据混合训练时，长任务准确率仅69.6%，按顺序训练后提升至92.4%。
- 04EgoTSR引入的Subtask Planner（子任务规划器）可将高层任务（如『打开冰箱取出饮料』）拆解为明确的原子子任务序列，并据此比较两张图在任务链中的进度。去掉它后，准确率从92.4%降至81.1%。
- 05短程原子任务评测用于诊断模型是否『看错了』（如夹爪是否闭合、按钮是否按下），EgoTSR在该层准确率约88%；长程任务评测用于诊断模型是否『想错了』，准确率约92.4%。
反方 / 局限
- — EgoTSR的『规划』目前仅限于高层任务分解和进度推理，并不直接输出机械臂的运动轨迹或关节角度，距离完整的通用机器人操作规划系统仍有明显距离。
- — 文章在定量评测中取得了优异的双向一致性，但案例验证主要基于有限平台（如LIBERO、SIMPLER、Franka、Agibot），在实际开放场景下的泛化能力和鲁棒性尚未充分验证。
EgoTSR时间顺序偏差浙江大学天津大学青岛大学上海交通大学新加坡国立大学InternVL-8BSubtask PlannerEgoTSR-DataLIBEROSIMPLERRoboTwinFrankaAgibotSo-100
7 分钟 · 4 卡片 · 7 资料
读原文 →