7.7
深览指数
科技人人都是产品经理·赛博禅心··AI 生成
DeepSeek 开源推理框架：96% 的输入，都不用重新计算
DeepSeek 开源了其 V4.1 Flash 模型使用的推理框架 DeepInfer 及编解码组件 deepseek-recipe。文章以请求处理流程为主线，详细拆解了 Prefill、Decode 阶段的算力节省策略：通过将 KV cache 存入独立存储集群，实现了 96% 的前缀缓存命中率，使 Prefill 吞吐提升 25 倍；自研的 DSpark 投机解码和异步调度进一步提升了 Decode 吞吐。文章还深入解释了针对滑动窗口注意力缓存未命中的 SWA Bounded Replay 方案，以及在 MoE 模型上专家部署与请求调度的具体做法。适合对 LLM 推理优化、系统架构感兴趣的读者了解前沿实践。原文 ↗
核心观点
- ▍DeepSeek 通过将推理请求拆分为接入、Prefill、Decode 三段，并采用 PD 分离部署、独立存储集群、滑动窗口注意力缓存优化及投机解码等技术，实现了极高的推理效率和算力利用率。
- 01线上数据显示，单个集群每天处理 155 万亿个 token，每次请求平均输入 77K 个 token，其中 96% 命中缓存，无需重新计算。
- 02采用 PD（Prefill-Decode）分离部署：Prefill 使用 8 卡服务器，Decode 使用 64 到 128 卡超节点；两类机器卡数配比接近 1:1。
- 03KV cache 存放在独立的 3FS 分布式文件系统存储集群中，容量约 100 PiB，全部为固态硬盘。Agent 流量缓存保留 3 天，聊天流量保留 7 天。
- 04计入缓存命中后，Prefill 阶段单卡每秒处理 token 数从 6 万提升到 150 万，吞吐相差 25 倍。
- 05针对滑动窗口注意力（SWA）缓存未命中，V4.1 采用 SWA Bounded Replay 方法：只重新计算最后 128 个 token 的近似窗口缓存，重算成本与上下文长度和模型层数无关。
- 06在 MoE 模型 Decode 阶段，将 384 个路由专家分布到 64 张卡上，每张卡存 6 个专家加 1 个热门专家副本，并每 10000 步动态调整热门专家的副本分配，负载最高卡仅比均值高 9%。
- 07自研 DSpark 投机解码：先估计每个猜测 token 被接受的可能性，低可能性的不再验证，线上吞吐提升 6%。
反方 / 局限
- — 缓存存储系统、Prefill 与 Decode 的分离部署、多副本负载均衡等核心组件与内部基础设施耦合较深，开源版本未包含，搭建完整线上服务需自行实现。
- — 跨机房部署技术上可行，但 DeepSeek 认为可能损失可靠性，原话是“跨机房的光纤容易被挖断”，其自身推理节点部署在不同但相邻的机房。
12 分钟 · 3 卡片 · 7 资料
读原文 →