6.9
深览指数
科技Bestblogs·美团 · 技术团队··AI 生成
正式开源！美团 LongCat-2.0 同步开放国产卡推理代码
美团技术团队正式开源万亿参数大模型 LongCat-2.0（总参数 1.6T，平均激活约 48B），并同步开放专门针对国产算力芯片的极致推理优化代码。文章详细阐述了从模型架构（稀疏注意力、ScMoE）、芯片适配（Super Kernel、Weight Prefetch）到部署策略（PD 分离、KV-cache 切分）的系统性优化方案，旨在突破国产芯片显存与带宽限制，盘活存量算力。对于关注大模型落地、国产芯片生态及低成本推理部署的技术决策者，是一份高密度的工程实践参考。原文 ↗
核心观点
- ▍LongCat-2.0 开源了多精度权重及适配国产 GPU/NPU 的推理代码，证明了通过模型、芯片适配、部署三方面系统优化，万亿参数大模型可以在存量国产算力卡上高效部署和运行。
- 01模型架构上，引入了 LongCat 稀疏注意力机制和 N-gram Embedding，将 135B 参数投入 N-gram Embedding，在 MoE 稀疏度接近 97% 的情况下，参数利用率高于继续扩充专家。
- 02芯片适配方面，通过 Super Kernel（超级算子）、Weight Prefetch（权重预取）及高速片间互联技术，最大化硬件显存和带宽的利用率，以隐藏延迟。
- 03部署策略上，采用 PD 分离（Prefill-Decode 分离）和 KV-cache 切分（Key-Value 缓存分片）等策略，以优化首字节生成时间（TTFT）和每个输出 Token 的生成时间（TPOT）。
- 04后训练阶段，采用多教师在线蒸馏（MOPD）技术，融合了执行、推理和交互三类专家模型的能力，使模型兼具深度推理与执行能力。
- 05开源内容包含 BF16/FP8/INT8 多精度权重，以及适配国产芯片的推理代码栈，降低了万亿模型在国产卡上的部署门槛。
反方 / 局限
- — 文章未提及与其他通用大模型（如 Llama、Qwen）在标准公开基准（如 MMLU、GSM8K）上的性能对比，效果指标主要围绕推理和部署效率，缺乏纵向的性能基线参照。
- — 文中未详细说明“存量国产算力卡”的具体型号与性能差异，也未探讨不同国产芯片（如昇腾、寒武纪、海光）间的适配成本和效果差异，普适性尚待验证。
美团LongCat-2.0ScMoEN-gram Embedding多教师在线蒸馏 (MOPD)Super KernelWeight PrefetchPD 分离 (Prefill-Decode Separation)KV-cache 切分
3 分钟 · 4 卡片 · 12 资料
读原文 →