6.5
深览指数
科技智东西··AI 生成
Matrix-Game 3.5WAIC首发！开源世界模型一哥，这次要“造世界”不只是“拍视频”
昆仑万维旗下Skywork团队在WAIC 2026发布了世界模型Matrix-Game 3.5，通过系统级推理加速（蒸馏+量化+剪枝）实现了单卡GPU上720P、约20FPS的实时流式生成。文章重点介绍了其四大技术优势：几何对齐的Patch Memory长期记忆机制（解决物体重现得分低的问题）、动静解耦记忆、相机位姿相对编码PRoPE机制（提升控制精度）以及轻量化交互框架。此外，Skywork团队构建了三条自动化数据生产管线（UE5自主探索、跨游戏控制、开放平台挖掘）作为护城河，并透露英伟达、Adobe等厂商已将Matrix-Game作为对比基准。本文适合关注世界模型技术路线、开源AI项目进展的从业者阅读。原文 ↗
核心观点
- ▍世界模型的技术瓶颈在于长期记忆、相机控制精度和实时交互能力，Matrix-Game 3.5通过系统级优化和四大技术优势试图解决这些问题，目标是从“生成视频”跨越到“交互世界”。
- 01Matrix-Game 3.5通过蒸馏将采样步数压缩至3-step Sampling，并采用分块因果推理、KV Cache等技术，在单张GPU上实现720P、约20FPS的实时流式视频生成。
- 02模型采用业内首个几何对齐的Patch级长期记忆机制（Patch Memory），将历史帧切分为三维空间块，按空间位置检索重组，解决了主流世界模型“物体重现得分”不超过0.6的问题。
- 033.5版本采用动静解耦记忆机制，Patch Memory负责静态场景，主体参考Token维持动态主体身份一致性，避免了移动物体被误认为多个静态物体。
- 04模型采用相机位姿相对编码PRoPE机制加Warped RoPE，将位置编码从时空索引升级为几何语义世界表示，提升相机控制精度。
- 05Skywork团队构建了三条自动化数据生产管线：基于UE5的自主探索管线、跨游戏自动化控制与探索管线、开放平台视频自动挖掘管线，并搭建了Scene-Quality自动评估系统。
- 06Matrix-Game系列从1.0到3.5经历了四次迭代（2025年3月-2026年7月），3.0版本已实现单卡B100、720P下40FPS的实时生成。
- 07英伟达的SANA-WM和Adobe的RELIC等国际大厂世界模型工作，均将Matrix-Game作为对比基准。
反方 / 局限
- — 文章提及世界模型普遍缺乏对物理规则的理解，如模型能生成狗跑动的画面，却不明白狗腿的落地顺序，但未说明Matrix-Game 3.5在物理规则建模上的具体突破。
- — 文章称“核心功能几乎不需要新增模型参数”，但未量化“几乎”的比例，也未说明新增的Reference Adapter参数规模与性能影响。
9 分钟 · 5 卡片 · 12 资料
读原文 →