KV Cache 是 Transformer 推理中缓存「Key-Value」向量以复用已计算中间结果的机制，能避免每次生成新 Token 时重算整个序列，是降低延迟、提升吞吐的关键。传统上它驻留在 GPU HBM 内，但随着长上下文和 Agent 任务爆发，KV Cache 容量从 GB 级飙升到 TB 乃至 PB 级，迫使系统将温冷数据卸载到 DRAM 和 SSD。Mooncake 把它组织成分布式缓存池，NVIDIA CMX 在 G3 与 G4 之间新增 Flash 层「G3.5」，标志着 KV Cache 正从 GPU 内部临时状态升级为跨节点、跨介质的一级基础设施资源。

Mooncake 在 2025 年 USENIX FAST 斩获最佳论文奖，这是存储顶会首次将最高荣誉授予大模型推理系统。它不是传统意义上的 SSD 或文件系统，而是以 KV Cache 为中心的分离式架构——把 GPU 集群中闲置的 CPU、DRAM、SSD 和网卡组织成分布式缓存池，用「更多存储换更少计算」。FAST 2025 投稿 167 篇仅录 36 篇，Mooncake 的获奖意味着存储学术界已正式承认：推理状态是 AI 基础设施中需要独立调度的一级资源，SSD 的角色正从冷数据仓库转变为实时推理数据路径上的可调度层。

摩根士丹利认为 DeepSeek 的 Engram 模块通过「条件记忆」将计算与存储分离，用高性价比 DRAM 置换稀缺 HBM，是「少花钱多办事」的典范。这与 Mooncake/CMX 的路线有本质差异：DeepSeek 在模型架构层做存储与计算解耦，靠查找表代替部分注意力计算；而 Mooncake 和 CMX 是在系统架构层把 SSD 接入推理主链路，靠缓存和预取减少 GPU 等待。两派都认同「存储是下一阶段瓶颈」，但一个在模型内部重构，一个在 Infra 侧重构，短期内可能并行，长期看会在智能体场景下产生交集。

文章强调 SSD 正进入 Token 生成主链路，但 CXL 3.0 内存池化技术也在 2027 年进入落地窗口——华为 CloudMatrix 384 已用 UB 总线把 384 块 NPU 和 192 颗 CPU 的内存串成一片。CXL 解决的是「远端内存像本地一样用」，延迟允许几微秒级别，适合 KV Cache 分层；AI SSD 解决的则是「Flash 介质参与实时数据路径」，需要更稳定的尾延迟和预测式预取。两者不是替代关系：CXL 适合把 DRAM 池化给 GPU，AI SSD 适合把 Flash 组织成温冷层，未来推理集群的存储层级会从「HBM—DRAM—SSD」扩展为「HBM—DRAM—CXL 内存池—AI SSD—对象存储」。

传统 SSD 的 FTL 是黑盒，主机不知道数据在介质上的真实布局，垃圾回收和写放大带来的尾延迟不可预测。文章指出 AI SSD 需要「低延迟、高耐久、稳定尾延迟」和「预测式预取」能力，但当前主控固件能否在微秒级窗口内完成这些操作？一个关键信号是：开放通道 SSD 把 FTL 移到主机端，让软件直接控制 NAND 布局，理论上能完美匹配推理框架的预取策略。问题是，开放通道方案在高并发推理场景下的工程成熟度远不如成熟的 NVMe 生态——这条路是方向还是弯路？