7.5
深览指数
科技腾讯新闻·AI寒武纪··AI 生成
Kimi K3的成功藏在4个月前杨植麟的这场演讲当中
文章解析了月之暗面CEO杨植麟在GTC 2024的演讲，揭示了Kimi K3模型背后的技术核心。作者核心观点是，K3的成功源于对三个扩展维度的系统性投入：提升token效率的Muon优化器、扩展上下文的Kimi Linear架构，以及多智能体协同的“智能体蜂群”训练范式。文章提供了大量技术细节（如QK Clip、Delta Attention）和实验数据，论证了这些技术如何共同作用。适合对LLM前沿技术架构、优化器及训练方法有深度兴趣的读者，但不适合寻求商业或产品层面分析的读者。原文 ↗
核心观点
- ▍Kimi K3的成功源于对三个扩展维度的系统性突破：提升token效率（Muon优化器）、扩展上下文长度（Kimi Linear架构）、以及多智能体协同（智能体蜂群训练范式）。
- 01团队提出并开源了Muon Clip优化器，是首个证明Muon可扩展用于LLM训练的团队，在1万亿参数规模训练中通过QK Clip技术解决了训练不稳定的问题。
- 02Kimi K2.5是首个原生实现视觉和文本联合训练的开源模型，采用“早期融合”策略，从第一天起就将视觉和文本token合并训练，实验表明视觉和文本能力可以互相增强。
- 03K2.5基础模型经历了超过30万亿token的训练，在H800 GPU集群上完成，训练过程极为稳定，没有出现任何loss尖峰。
- 04Kimi Linear架构中，将线性注意力层（Kimi Delta Attention）和全注意力层按1:3比例混合，在长上下文（如100万token）和短上下文任务上均优于全注意力基线。
- 05K2.5通过“视觉训练能提升文本表现”的实验表明，只用纯视觉任务做强化学习，不涉及文本任务，也能提升推理类文本任务的表现。
- 06在K2.5上，团队采用了“zero vision SFT”方法，即不使用专门的视觉SFT数据，仅通过文本SFT数据加上联合强化学习，视觉能力接近业内最好水平。
- 07团队预告了下一代架构“注意力残差”，将注意力机制应用到深度维度上，取代传统残差连接，在scaling law层面将token效率提升了24%。
- 08智能体蜂群训练引入了三项新奖励目标：实例化奖励、完成奖励和标准的结果奖励，鼓励模型生成并完成有意义的子任务。
反方 / 局限
- — 文章未提及K3模型在推理成本、商业化落地或与竞争对手（如DeepSeek、GPT-4o）在具体场景下的性能对比，缺少对实际应用局限性的讨论。
15 分钟 · 4 卡片 · 6 资料
读原文 →