7.6
深览指数
科技智东西·王 涵··AI 生成
梁圣大气！DeepSeek推理框架全开源，公布日均吞吐和毛利，真正的OpenAI来了
DeepSeek 开源其大规模云服务推理框架 DeepInfer 与 token 编解码组件 deepseek-recipe，并罕见公布了关键运营数据：单一集群日均吞吐 155 万亿 tokens、每卡每小时营收 38 美金。技术报告详细披露了在吞吐、成本、延迟三方面的核心优化机制，包括创新的 SWA Bounded Replay 和 Confidence Head 投机解码。对关注大模型推理工程化落地和 AI 基础设施成本的读者，这是一份难得的、充满具体数据的第一手技术分享。原文 ↗
核心观点
- ▍DeepSeek 开源了其内部生产级推理框架 DeepInfer 和 token 编解码组件，并系统公开了关键运营指标与技术实现，打破了 AI 大厂在推理基础设施上的黑箱做法。
- 01DeepInfer 集成高性能算子和深度推理引擎，支持分布式推理、推测解码(SWA Bounded Replay)、结构化输出，可在英伟达和华为昇腾平台运行。
- 02单一集群日均吞吐 155 万亿 tokens，按谷价计算每卡每小时收入 38 美元(约 254 元人民币)，相当于单卡月收入超 18.5 万元。
- 03SWA Bounded Replay 技术将 V4 版本中占持久 VCache 容量近一半的 SWA 落盘策略改为仅重算最近 128 token，使 decoder 侧总 prefill 计算量近乎减半。
- 04KVCache 长期留存设计目标 72 小时以上，线上 agent TTL 3 天、chatbot TTL 7 天；Block KVCache 按 128 token 切块，落独立 3FS 集群(约 100 PiB SSD)，实现任意 prefill 机器可命中任意前缀。
- 05通过 Confidence Head 按置信度决定投机解码验证长度，替代固定 5 token 验证，吞吐提升 6%。
- 06分词从线性改为分段并行：special token 之间的普通文本独立编码再按序拼接，核心路径用 Rust 实现，避免分词拖慢 TTFT。
- 07开放 deepseek-recipe 组件，支持主流大模型 API 协议与模型 token 间的编解码，确保第三方部署可获得与官方 API 一致的体验。
反方 / 局限
- — DeepSeek 承认推理系统中的 KVCache 管理与负载均衡组件因与内部基础设施耦合较深，目前尚未完整开源。
- — 文章未讨论开源框架在非 DeepSeek 模型、不同硬件配置下的适配难度与性能表现，也未对比其他开源推理方案(如 vLLM、TGI)的优劣。
DeepSeek梁圣DeepInferdeepseek-recipeSWA Bounded ReplayConfidence HeadKVCacheDeepSeek V4.1 Flash华为昇腾英伟达智东西
7 分钟 · 4 卡片 · 10 资料
读原文 →