科技量子位·henry··AI 生成
刚刚，LeCun团队让世界模型学会持续学习！
纽约大学联合LeCun初创公司AMI提出AdaJEPA框架，让JEPA系列世界模型在真实环境交互中，通过测试时自适应（TTA）持续更新编码器和预测器参数，从而解决传统冻结世界模型在环境变化时失准的问题。该方法模仿Dyna框架，在每次MPC规划-执行-观测后，利用单步真实反馈轻量更新模型，仅增加0.01-0.03秒延迟，就将仿真环境下的规划成功率提升近翻倍。适合对机器人学习、世界模型、持续学习领域有基础的研究者或工程师，了解其技术细节和实验设置。原文 ↗原文 ↗
核心观点
- ▍世界模型不应急训练完就冻结参数，通过在部署时利用真实交互结果进行轻量在线更新，能显著提升面对环境变化的鲁棒性。
- 01AdaJEPA将传统MPC的规划-执行-再规划循环扩展为规划-执行-观测-更新-再规划，每次交互后都用真实状态转移作为自监督信号校准模型。
- 02该框架仅更新视觉编码器和预测器的最后几层，每次重规划只做1步梯度下降，额外延迟控制在0.01到0.03秒。
- 03在PushObj环境中，对未见过的形状，AdaJEPA将规划成功率几乎翻倍；在PointMaze未见过布局中，GD规划成功率从53.3%提到78.7%，CEM从49.3%提到70.7%。
- 04为防止在线更新破坏表征空间，AdaJEPA对目标表征使用stop-gradient，并仅更新少量参数（最后几层）。
前置背景
技术原理
平行视角
争议局限
延伸追问