7.6
深览指数
科技微博·机器之心Pro··AI 生成
视频通用模型来了！DeepMind 再证「生成即理解」，何恺明参与
谷歌 DeepMind 提出 GenCeption，利用大规模预训练的视频生成模型（如 WAN 2.1）作为通用视觉骨干，并通过单步前向推理适配深度估计、分割、3D 关键点等多种下游任务。论文使用合成数据解决多任务标注对齐问题，在多个基准上以极少的后训练数据逼近甚至超越专用模型。核心贡献在于证明视频生成模型的预训练过程已经内化了丰富的时空结构与世界知识，为「生成即理解」提供了有力证据，但也明确指出当前工作主要验证结构信息，尚未解决动作语义与因果推断。适合关注视觉基础模型、自监督学习与多任务统一框架的研究者和工程师。原文 ↗
核心观点
- ▍大规模文本到视频生成可以被视为视觉领域的通用预训练目标，因为它同时满足学习时空演化、与语言对齐、可规模化扩展三个条件，并且内化了丰富的世界知识。
- ▍GenCeption 验证了「生成即理解」路线：直接复用预训练的文生视频扩散模型（WAN 2.1），通过单步前馈改造，使其成为通用视频理解系统，在多个密集与稀疏视觉任务上接近或超越专用模型。
- 01GenCeption 使用 800 个 RenderPeople 资产和 200 种动作生成 7500 段合成人体视频，同步获取深度、法线、分割、DensePose、2D/3D 关键点和相机位姿等标注，实现空间和时间的天然对齐。
- 02在深度估计任务中，面对 2 亿、8600 万、6 亿帧训练数据量的专用模型（Depth Anything V3、D4RT、VGGT-Ω），GenCeption 仅使用约 123 万帧后训练数据即可接近其性能，数据效率高出 7 至 500 倍。
- 03统一多任务时，GenCeption 将密集任务结果编码到标准 RGB 空间（视为目标视频），对稀疏任务则引入可学习 Token + MLP 解码为坐标，所有任务共用 L2 损失，范式从「架构修改」转向「数据格式设计」。
- 04与 V-JEPA、VideoMAE V2 等表征学习方法在相同后训练数据下对比，生成式预训练的 WAN 2.1 在深度估计任务上表现出明显优势，且模型参数从 13B 扩展到 140B 时性能持续提升。
- 05主要在合成人体数据上训练的模型，可零样本迁移到猩猩姿态预测、动物/拟人角色分割、机器人语义关键点等训练中未出现的类别，归因于视频生成模型在大规模预训练阶段已获取的广泛世界知识。
反方 / 局限
- — 论文明确指出当前验证主要关注结构信息（深度、形状、运动），而动作语义、事件因果和意图推理是尚未解决的问题，「生成即理解」仍未完全成立。
- — GenCeption 虽然下游需求数据极少，但依赖一个已经完成大规模预训练的 140B 参数生成模型，前期训练成本极高，并非完全「廉价」。
8 分钟 · 3 卡片 · 7 资料
读原文 →