7.5
深览指数
科技腾讯新闻··AI 生成
银河通用发布全球首个具身大模型后训练框架，让机器人换厨房不丢手艺
银河通用发布了WAM-TTT后训练框架，旨在解决机器人进入新环境后技能严重退化的问题。核心方案是：机器人部署到新场景后，只需观看少量第一视角人类视频，通过自监督视频预测更新一组轻量快速权重，无需昂贵的机器人轨迹数据或动作标注。论文实验显示，跨环境任务成功率保留率从基线方法的约15%提升至约76%。这项技术指向一个关键产业方向：当机器人的基础模型预训练与场景适配实现解耦后，规模化部署的成本结构可能发生根本变化——从每个客户现场都需要重新采集数据和微调模型，转向统一的预训练基础模型加轻量的视频级适配。对于关注具身智能产业化和机器人落地成本的深度读者，这是今年值得重点关注的工程突破。原文 ↗
核心观点
- ▍银河通用发布的WAM-TTT框架，核心创新在于：机器人部署到新环境后，无需重新采集机器人轨迹数据，仅通过观看少量第一视角人类视频，就能完成高效场景适配，这将根本改变机器人规模化部署的成本结构。
- ▍该框架标志着机器人基础模型的数据体系可能出现结构性变化：昂贵的机器人数据用于动作接地和本体对齐（负责‘身体’），而规模更大、成本更低的人类视频负责任务知识、流程经验和场景变化（负责‘任务’）。
- 01实验显示，面对光照、桌面高度、操作物体同时变化的全新家庭环境，上下文学习基线WAM-ICL的九项任务平均进度从48.4%下降至7.1%；而采用WAM-TTT后，跨环境表现保留率从约15%提升至约76%。
- 02在数据成本对比实验中，使用100条机器人示范加100条人类视频的组合，与使用200条机器人示范的性能几乎持平（平均任务进度分别为74.1%和73.7%），表明人类视频在特定条件下可承担接近机器人示范的数据价值。
- 03WAM-TTT通过三项技术突破实现高效适配：部署阶段仅需人类视频（无需机器人轨迹与动作标签）；跳过传统动作重定向流程，直接学习世界状态变化；通过独立快速权重（Fast Weights）存储新场景信息，不修改预训练基础模型，实现‘零遗忘’。
- 04研究在Unitree G1、Galbot双臂夹爪和Galbot灵巧手三种机器人本体上，完成了九项真实操作任务测试，每个任务-环境组合运行25次。
- 05Physical Intelligence的研究同样发现，在机器人数据受限的条件下，利用人类第一视角视频进行辅助训练可显著提升模型泛化性能，这一结论与WAM-TTT的实验结果一致。
反方 / 局限
- — 论文没有回答一次适配需要多少时间及需要多少视频，也没有验证快速权重在面对大量客户、长期升级和版本兼容时的管理方式。
- — WAM-TTT距离王鹤定义的具身智能'ChatGPT时刻'（预训练后机器人对大多数任务零样本成功率70%-80%）还有显著差距，它只是补上了部署期学习这一关键环节。
银河通用WAM-TTT世界动作模型 (WAM)银河星脑 (AstraBrain)快速权重 (Fast Weights)王鹤Unitree G1GalbotPhysical IntelligenceGoogle DeepMindNVIDIA GR00TWAM-ICL
12 分钟 · 6 卡片 · 16 资料
读原文 →