7.3
深览指数
科技量子位·鹭羽··AI 生成
全球首个！银河通用新框架仅需人类视频即可部署，特斯拉蚌埠住了
银河通用（Galaxy General）发布了全球首个面向具身智能大模型的测试时后训练框架 WAM-TTT。该框架首次将 Test-Time Training 范式从 NLP 迁移到物理世界机器人控制，使机器人能够像推理模型一样在部署后持续学习，而非依赖昂贵的预训练数据。其核心在于冻结预训练的世界动作模型（WAM），仅通过轻量化的快速权重记忆模块，利用未标注的人类视频完成场景适应。实验表明，其在跨场景泛化中性能保持率约 75.6%，远超传统方法。本文适合关注具身智能技术突破、机器人商业化落地瓶颈及 AI 范式演进的深度读者。原文 ↗
核心观点
- ▍银河通用的 WAM-TTT 首次将 Test-Time Training (TTT) 范式从 NLP 移植到具身智能，让机器人能在部署后通过人类视频实现连续学习，无需重新预训练或大量遥操作数据。
- ▍WAM-TTT 的核心创新在于使用“快速权重记忆”模块，冻结基础的世界动作模型，仅更新该记忆模块的参数以适应新场景，从而避免了灾难性遗忘。
- 01WAM-TTT 由视频专家和动作专家组成的预训练世界动作模型（WAM）作为底座，外部挂载一个轻量化的快速权重记忆模块，该模块通过 Key-Value 向量对实现人类视觉线索与机器人行为的对齐。
- 02部署阶段，WAM-TTT 仅需一段未标注的人类 RGB 视频，主 WAM 权重冻结，仅更新记忆模块参数。据实验，100 条机器人轨迹 + 100 条人类视频即可达到 74.1% 的平均成功率，与全部使用 200 条机器人轨迹的效果基本相当。
- 03跨环境测试中，WAM-TTT 在未知家庭环境中性能保持率约 75.6%，而采用上下文学习的对照组（WAM-ICL）性能保持率仅为 14.7%。在改变光照和物体位置的细粒度测试中，WAM-TTT 完成率仍有 60%，WAM-ICL 仅为 12%-20%。
- 04对比实验显示，将人类视频直接混入预训练（WAM-COTRAIN）或使用 LoRA 微调（WAM-LoRA）均不如 WAM-TTT。WAM-LoRA 在 Table Bussing 和 Swap Place 任务上分别仅取得 30% 和 0% 的成功率，而 WAM-TTT 为 100% 和 88.9%。
- 05与添加人体姿态估计和动作重定向的对照管线相比，WAM-TTT 的平均任务完成度高出 43.4 个百分点，表明其自监督学习方式更优。
- 06文章提及特斯拉 Optimus 的训练依赖超过百人的数据采集团队，每人每天重复数百次动作，成本高昂，以此反衬 WAM-TTT 的低成本优势。
反方 / 局限
- — WAM-TTT 虽然大幅降低了数据成本，但其成功的前提是拥有一个高质量的预训练世界动作模型（WAM），该模型的构建本身仍需要大量的异构数据（互联网数据、人类视频、遥操作数据等），成本并未消除，而是前移了。
- — 实验中的“未知真实家庭环境”的具体复杂度和多样性未详细说明，其泛化能力在中度或高度动态、非结构化的场景（如拥挤的厨房、嘈杂的餐厅）中是否还能保持 75.6% 的性能保持率存疑。
- — 文章提到 WAM-TTT 解决了“灾难性遗忘”，但未提及该框架在面对连续多任务学习时，快速权重记忆是否会因为不断更新而产生干扰或溢出（capacity overflow）。
银河通用WAM-TTTWorld Action Model (WAM)Test-Time Training (TTT)快速权重记忆特斯拉 Optimus人形机器人与具身智能实景实训专项行动 (2026)
14 分钟 · 4 卡片 · 12 资料
读原文 →