科技Bestblogs·AI Engineer··AI 生成
MiniMax M3 如何构建：稀疏注意力与原生多模态训练
MiniMax 研究员 Olive Song 在一场技术分享中，详细解释了其开放权重模型 M3 的关键设计：通过改进的稀疏注意力机制（MSA）支持百万级 Token 上下文，并从预训练起始阶段融入视觉能力，以减少多模态训练对文本能力的损害。文章揭示了工程实践中的具体取舍，如为保留 GQA 多样性而让各注意力头拥有不同的稀疏选择，以及通过块级检索优化访存效率。对于关注长上下文模型和多模态预训练工程细节的从业者，本文提供了宝贵的、非宣传性质的一手决策依据。原文 ↗原文 ↗
核心观点
- ▍MiniMax M3 的核心设计原则是“更简单的架构往往能带来更好的规模扩展特性”，其稀疏注意力（MSA）和从零开始的图文共同训练是实现百万级上下文与强视觉能力的关键。
- 01MSA 将候选选择（轻量索引分支）与主稀疏注意力计算分开，使长上下文计算只覆盖部分 token，而非全部，从而降低计算量。
- 02与让各 KV 头共用同一选择结果的做法不同，MiniMax 保留各头不同的稀疏注意力模式，以维护 GQA 的多样性。
- 03为解决 top-k 选择结果导致的零散显存读取问题，MSA 采用块级检索（block retrieval），单个块内的候选 token 在显存中连续存储，从而提高访存效率。
- 04在训练策略上，团队对比了三种方案：文本模型收敛后再加视觉、预训练衰减阶段前加入视觉、以及从零共同训练图文。后者在相同文本 token 预算下，对文本能力的损伤最小。
- 05ViT 中采用四帧的 3D 自注意力，让不同帧的图像块直接交互以增强时序表示，团队认为该设置在视觉收益、效率和负载均衡之间达到了较好的平衡。
反方 / 局限
- — 演讲未交代基准测试的具体口径和底层内核实现细节，使得其宣称的“较全量注意力更快”缺乏独立验证的支撑。
- — 转录提供的关于多模态训练效果的量化证据（如具体的 benchmark 数值）有限，更多是定性描述和工程师的个人判断。
概念锚点
前置背景
平行视角
未来推演