科技微博·量子位··AI 生成
这个新开源的世界模型只有1.3B，单卡就能实时跑！
蚂蚁灵波发布了LingBot-World 2.0的1.3B轻量版，这是一个可在消费级单卡GPU上实时运行的开源世界模型。文章详细拆解了从14B主模型到1.3B模型的研发路径：并非简单裁剪，而是通过Causal Pretrain建立长时生成稳定的底座，再经一致性蒸馏和分布匹配蒸馏压缩计算量，最后让Student模型适应自回归状态。核心贡献在于展示了世界模型小型化的可行技术路线，并开放上游训练模型，降低社区参与门槛。适合关注生成式AI模型部署、实时交互技术及模型压缩的读者。原文 ↗原文 ↗
核心观点
- ▍LingBot-World 2.0的1.3B轻量版并非对14B模型的简单裁剪，而是沿着Causal Pretrain→蒸馏(DMD+一致性蒸馏)→Student自回归适应的完整链路自然产出的成果，意在降低世界模型的部署门槛。
- 017月开源的14B主模型已实现小时级持续生成、720p/60fps实时体验；1.3B版本面向消费级单卡GPU设计，可在本地实现实时世界生成。
- 02训练路线第一步：训练Causal World模型，该模型生成当前状态时只能依赖过去的视觉信息和用户输入，不能预知未来内容，解决长上下文轨迹漂移问题。
- 03为解决纯Teacher Forcing在长上下文中的过拟合问题，团队设计了MoBA（Mixture of Bidirectional and Autoregressive Attention Mask），在Mask中加入双向注意力作为正则化。
- 04第二步：对Causal Pretrain底座进行一致性蒸馏，将Teacher原有需多步完成的去噪轨迹压缩到少数几步。
- 05第三步：加入分布匹配蒸馏(DMD)，让Student在自身长时self-rollout轨迹上训练，提前适应实际运行状态，减少累计漂移。
- 06在IFA柏林消费电子展开幕演讲上，AMD高级副总裁Jack Huynh将LingBot-World与智谱、千问并列，并称其为'This is the future of Personal AI'。
反方 / 局限
- — 世界模型在长时生成时仍面临纹理变糊、几何结构变形、场景漂移等问题，1.3B版本虽能本地跑，但生成的持续时长和复杂交互能力可能不及14B版本，文章未给出1.3B版本的量化性能指标。
概念锚点
前置背景
平行视角
未来推演
延伸追问