6.9
深览指数
科技人人都是产品经理·Ai学习的老章··AI 生成

Kimi K3开源了,本地部署,先准备好3000万

Kimi 开源了全球最大开放权重模型 K3(2.8T 参数),权重文件 1.56TB 采用 MXFP4 原生精度。文章计算出最低部署门槛:16 卡 H200 起步约 730-800 万元,官方推荐 64 卡超节点方案约 2900-3000 万元。与同类国产模型部署方案相比,K3 的单卡显存装不下全部权重,迫使多机推理成为必选项,显著推高了私有化部署成本。适合评估大模型落地硬件投入的技术决策者或企业采购人员阅读。原文 ↗

核心观点
  • Kimi K3 是全球最大开源模型,但本地部署门槛极高,官方推荐 64 卡 H200 超节点方案,总投入约 3000 万元,这已不是个人开发者或中小团队能承受的范畴。
  1. 01K3 权重文件为 MXFP4 原生精度(1.56TB),单台 8 卡 H200(1128GB 显存)连权重都装不下,单节点直接出局。
  2. 02最低部署方案为 16 卡 H200(两台服务器),约 730-800 万元,且上下文和并发需精打细算,仅能跑 128K 上下文起步。
  3. 0364 卡 H200 方案总预算约 2900-3000 万元,包含 8 台服务器(约 2800 万)和高速网络(约 100-200 万),还需考虑 80kW+ 机房的供电和散热改造。
  4. 04K3 在开源阵营中能力断档领先,Coding 能力上 Terminal Bench 2.1 得分 88.3,接近 GPT-5.6 Sol;Agent 能力上 BrowseComp 91.2 分全场第一。
  5. 05K3 的 2.8T 参数因采用 MXFP4 精度(每参数约 0.53 字节),权重文件仅 1.56TB,而非传统 4-bit 量化。
反方 / 局限
  • 文章暗示 K3 的 MXFP4 原生精度导致后续量化精度损失会叠加,且官方未提供更高精度版本,限制了进一步减少显存占用的空间。
8 分钟 · 5 卡片 · 14 资料
读原文 →

概念锚点

前置背景

平行视角

未来推演

延伸追问