7.2
深览指数
科技Bestblogs·阿里技术··AI 生成
上交 x 阿里：让机器人闭眼先学动作，VLA 成功率涨 43%
上海交通大学和阿里巴巴联合提出了 LA4VLA 方法，通过将语言-动作预训练从视觉-语言-动作（VLA）预训练中解耦，让机器人先在不依赖视觉的条件下学习语言对动作的约束。诊断实验发现，标准 VLA 模型在失去视觉后方向跟随能力大幅下降，说明语言监督易被视觉信号淹没。LA4VLA 在两阶段预训练后，在真实机器人上成功率从 38.3% 提升至 83.3%，视觉扰动下仍达 70.0%。文章适合对具身智能、机器人学习和多模态模型有技术背景的读者。原文 ↗
核心观点
- ▍标准 VLA 训练中，语言-动作关系易被密集的视觉-动作信号淹没，模型可能依赖视觉捷径而非真正理解语言指令。
- ▍LA4VLA 通过将 Language-Action Pretraining 从 VLA 中解耦，让模型先学习与具体图像无关的语言-动作先验，可显著提升下游任务成功率与鲁棒性。
- 01诊断实验表明，当视觉输入被移除、替换或与语言冲突时，标准 VLA 模型的方向跟随能力大幅下降，更偏向视觉暗示的方向。
- 02LA4VLA 构建了包含 33,116 条人工核验 Language-Action 片段的 LA-33K 数据集，并设计了两阶段预训练范式。
- 03在真实机器人上，单独 LA pretraining 将成功率从 38.3% 提升至 81.7%，与 VLA 结合后进一步提升至 83.3%，视觉扰动下提升至 70.0%。
- 04在 MetaWorld 和 LIBERO 仿真环境下，单独 LA pretraining 显著优于无预训练，并超越了 matched VLA pretraining。
- 05t-SNE 可视化与方向跟随实验证实，LA pretraining 使模型内部形成更清晰的 instruction-conditioned representation。
反方 / 局限
- — 文章未提及语言-动作先验在零样本泛化或未见过的语言指令组合下的表现。
- — 文中未讨论 LA-33K 数据集的构建成本及其规模是否足以泛化到更广泛的操作场景。
- — LA pretraining 带来的性能提升在视觉信息丰富且无误的情况下，是否仍能显著超越同计算量的 VLA supervision，文章未作直接对比。
4 分钟 · 4 卡片 · 7 资料
读原文 →