7.8
深览指数
科技智东西·王 涵··AI 生成
对话Mamoda团队：业内首个DiT-MoE视频生成基座是如何炼成的？
本文深度对话巨量引擎Mamoda团队，详细拆解其自研广告内容治理大模型Mamoda 2.5的技术架构。核心亮点是首次将MoE（混合专家）架构与DiT扩散模型结合，打造了250亿参数但仅激活30亿参数的DiT-MoE基座，并通过强化学习+自蒸馏将推理步数从50步压缩至4步，效率提升近8倍。文章不仅解释了技术原理与自研动机，还揭示了从文本检测到全视频修复的三年四次迭代路径，并点出了AI时代平台治理的核心痛点——如肖像授权伪造。适合对AI视频生成、产业级模型落地、平台风控感兴趣的技术与产品从业者阅读。原文 ↗
核心观点
- ▍Mamoda 2.5的核心创新是将MoE架构与DiT扩散模型结合，构建了行业首个DiT-MoE视频生成基座，通过稀疏激活（250亿参数仅激活30亿）在大幅降低计算成本的同时保持强大生成能力。
- ▍团队选择全链自研而非适配通用大模型，核心原因是基于平台对运行效率、业务场景特殊性（广告治理需理解与生成一体化）以及精准把控合规判定标准的考量。
- 01Mamoda 2.5总参数量达250亿，但每次推理仅激活约30亿参数，稀疏度约12%；模型中设置了128个细粒度专家（含1个共享专家），采用Top-8 token级路由策略。
- 02通过强化学习加自蒸馏技术，团队将原始模型需要的50步推理压缩到4步，480p视频编辑延迟从69秒降至9秒，效率提升近8倍。
- 03在指令式AI视频编辑领域的三个主流权威评测基准（OpenVE-Bench、FiVE-Bench、ReCo-Bench）中，Mamoda 2.5均取得优异成绩，其T2V推理效率相比行业主流开源模型提升11-15倍。
- 04过去一年，Mamoda支撑的前置拦截违规素材达百亿条、关停违规账户超400万、单日处置黑产账户峰值突破20万；平台内容CCR同比下降56.2%，履约CCR下降67.1%。
- 05Mamoda的迭代路径为：2024年6月1.0版本（文本类广告单点风险检测）→2026年7月2.5版本（全链路视频编辑修复）→预计2026年内3.0版本（深化音频理解与编辑），稳步实现全模态治理。
- 06团队在架构初期未引入共享专家，训练效果不佳；后续加入负责通用视觉知识表达的共享专家后（如光影和背景融入度），效果才显著改善。
反方 / 局限
- — 在肖像授权核验场景中，信息更充分、授权链路更清晰的主体更容易被识别；而知名度不高、公开授权信息不够完备的肖像与声音，更容易被AI仿冒利用，给平台真实性核验带来高难度，这是当前最棘手但尚未完全解决的合规场景。
- — Mamoda 2.5目前主要覆盖视频画面和文本的合规处理，音频模态的深度理解与编辑能力是3.0版本的规划方向，当前版本在多模态整合上仍有短板。
Mamoda 2.5DiT-MoEMoE (混合专家架构)DiT (扩散Transformer)巨量引擎智东西OpenVE-BenchFiVE-BenchReCo-Bench强化学习自蒸馏共享专家Top-8 token级路由
10 分钟 · 4 卡片 · 12 资料
读原文 →