5.2
深览指数
科技智东西·田 忠婷··AI 生成
国内首个国产卡训推万亿大模型,开源!
美团开源了名为LongCat-2.0的万亿参数大模型(1.6万亿总参数,480亿激活参数),这是国内首个完全依靠5万张国产算力卡完成全流程训练与推理的MoE模型。文章公布了其在SWE-bench等编程与智能体评测中接近或超越GPT-5.5、Claude Opus 4.6的成绩,并详述了稀疏注意力(LSA)、N-gram Embedding、多教师蒸馏三项技术优化。适合关注国产AI芯片生态、大模型工程化和开源技术栈的读者,内容侧重产品发布与技术拆解,偏资讯导向。原文 ↗
核心观点
- ▍美团LongCat-2.0是国内首个在5万张国产算力集群上完成全流程训练与推理的万亿参数MoE大模型,并选择开源,验证了国产算力训推万亿级模型的可行性。
- 01总参数1.6万亿,平均激活参数约480亿,采用MoE专家混合架构。
- 02在SWE-bench Pro评测中得分59.5,领先Gemini 3.1 Pro(54.2)、GPT-5.5(58.6)及Claude Opus 4.6(57.3)。
- 03在SWE-bench Multilingual中得分77.3,与Claude Opus 4.6(77.8)持平;在Terminal-Bench 2.1中得分70.8。
- 04通过LongCat稀疏注意力机制(LSA)将百万级长上下文的计算开销从平方级优化为线性级。
- 05在MoE专家之外引入N-gram Embedding作为新的参数扩展路径,占总参数比例控制在10%以内。
- 06后训练采用多教师在线蒸馏,将专家分为Agent、推理和交互三类,并使用MOPD架构在国产算力集群上融合。
- 07展示在生成3D像素场景、长文本小说、解AIME数学题等任务中的实际表现,以及内测中AI SQL Agent、代码库迁移、游戏开发等场景的闭环交付。
反方 / 局限
- — 文章承认模型在代码生成速度较快时“有时不稳定,画面会出现问题”,并列出了首次生成“消泡泡”游戏时出现方块和问号错误的实例。
美团LongCat-2.0MoE稀疏注意力机制N-gram Embedding多教师在线蒸馏MOPD架构SWE-bench ProSWE-bench MultilingualTerminal-Bench 2.1AIMEGPT-5.5Claude Opus 4.6Gemini 3.1 ProHuggingFaceGitHubModelScopeSGLang
15 分钟 · 5 卡片 · 12 资料
读原文 →