7.1
深览指数
科技微博·量子位··AI 生成
全球首个具身原生预训练模型发布，从物理世界出发为机器人造大脑
蚂蚁灵波发布LingBot-VA 2.0，号称全球首个具身原生的预训练VA基座模型。文章核心介绍该模型如何从架构、数据到训练目标均为机器人闭环控制量身定制，核心创新包括：语义视觉-动作分词器、因果预训练、稀疏MoE和异步推理。通过整理桌面、传送带抓取和抓薯片三个真实任务及RoboTwin 2.0仿真基准上的数据，论证了其在长程记忆、时间对齐、精细操作上的能力提升。适合关注具身智能前沿技术、机器人底层模型架构的从业者或研究者阅读。原文 ↗
核心观点
- ▍LingBot-VA 2.0是全球首个具身原生的预训练VA基座模型，从架构、数据到训练目标第一天起为机器人闭环控制设计，实现预测式控制取代反应式控制。
- 01语义视觉-动作分词器：视觉分词器在做像素重建的同时，向冻结的视觉基础模型对齐特征，把语义信息塞进latent；通过隐动作模块从无标注视频中学习动作相关监督信号。
- 02因果预训练：从零用因果架构训练，模型按“只能看过去不能看未来”的时间线学习，匹配闭环控制中“当下不能预知未来”的物理现实，避免预训练先验知识在改造中受损。
- 03稀疏MoE架构：视频主干总参13B，推理仅激活约1.9B；训练参量15.3B，推理每token激活约2.5B，平衡模型容量与实时推理速度。
- 04异步推理机制Foresight Reasoning：机器人执行当前动作片段时，模型并行预测下一步画面，每次真实观测返回时校准脑补结果，形成“预测-执行-纠偏”闭环。
- 05推理速度优化后从baseline 965ms/chunk降到142ms/chunk，异步控制频率从33Hz提升到225Hz。
- 06在RoboTwin 2.0基准上，Clean、Randomized、Avg三项分别达93.8%、93.4%、93.6%，全面超过π0.5、Motus等基线模型。
- 07消融实验显示自研分词器在Easy/Hard任务上为86.6%/83.1%，优于通用WAN2.2 VAE方案的78.0%/76.0%；MCP训练目标带来2.3倍训练加速。
- 08真实任务演示：整理桌面（长程状态维持）、传送带抓取（时间对齐）、抓薯片（精细力度控制）均成功。
反方 / 局限
- — 文章未讨论LingBot-VA 2.0在真实复杂环境下(如光照变化、物体材质多样性)的泛化能力局限，也未涉及模型训练所需网络视频数据规模及获取成本。
- — 异步推理机制中的“脑补漂移”校准依赖高频真实观测返回，当真实观测频率较低或延迟较大时，系统稳定性可能面临挑战。
LingBot-VA 2.0蚂蚁灵波因果预训练稀疏MoE语义视觉-动作分词器Foresight ReasoningRoboTwin 2.0π0.5MotusLingBot-VLA 2.0LingBot-Depth 2.0LingBot-Video
10 分钟 · 5 卡片 · 10 资料
读原文 →