PD分离架构并非云天励飞独创。2025年9月，AMD在ROCm博客中联合SGLang框架首次提出该概念，核心思路是将LLM推理的Prefill（计算密集型）和Decode（访存密集型）两个阶段拆分到不同GPU上独立运行。此后，DeepSeek联合清华、北大提出双路径KV-Cache加载机制，商汤科技将PD分离与记忆结构深度耦合。云天励飞是第一个将此理念落实到专用芯片（P/D/L三款）的厂商，但业界在软件层（vLLM、Dynamo、Mooncake）已有大量实践。

为什么要把Prefill和Decode分开？核心原因是两个阶段对硬件资源的需求截然不同：Prefill阶段要并行处理整个输入序列，是计算密集型，对GPU算力（FLOPS）要求极高；Decode阶段逐token生成，需频繁访问KV Cache，是访存密集型，对显存带宽敏感。传统混部方案中，长上下文Prefill会抢占Decode的算力与带宽，导致尾延迟飙升。PD分离架构通过将两者分配到不同GPU实例，实现了各自独立优化——P实例可以堆高算力，D实例可以堆高带宽。云天励飞更进一步，将P/D/L三款芯片分别针对不同子环节定制，本质上是在硬件层面复现了软件调度的资源隔离逻辑。

云天励飞宣称其方案在低延迟场景下tokens成本竞争力逼近英伟达Rubin+LPX，但英伟达的路线完全不同。Blackwell系列通过第五代Tensor Core（FP4加速）、第五代NVLink和HBM3e内存带宽，在单芯片上实现15倍性能跃升。SemiAnalysis的InferenceMAX v1基准测试显示，500万美元的GB200 NVL72系统可实现7500万美元token收入，ROI达15倍。英伟达靠的是极致的硬件-软件协同设计（TensorRT-LLM、Dynamo框架），而非将芯片专用化拆分。两种路径谁能在长期占据成本优势，取决于国产芯片能否在万卡集群的真实通信瓶颈中跑出理论效率。

云天励飞喊出「百亿Token一分钱」的长期目标，但当前国产AI推理芯片市场格局已高度分化。弗若斯特沙利文预测2029年中国AI芯片市场规模达1.34万亿元，而IDC等机构预测仅3500-4400亿元，分歧核心在于国产替代速度与算力增长假设。2025年本土厂商出货占比首次突破55%，华为昇腾以81.2万张出货量占本土市场37%。云天励飞在NPU驱动细分市场排名国内第二（1.9%份额），但距华为仍有量级差距。其降本落地的关键变量有二：一是DeepVerse100系列芯片能否在2027年量产时达到对标国际主流工艺的性能；二是「1001计划」能否拉动全产业链协同，避免单打独斗。

如果「百亿Token一分钱」真的实现，推理成本不再是瓶颈，AI产业的竞争逻辑将彻底改变。真正值得追问的不是「还能降多少」，而是「降到位后什么能活下来」——那些靠算力差价赚利润的算力租赁商、依赖稀缺算力形成准入壁垒的模型厂商、以及只做通用对话的AI应用，都会面临生存危机。相反，深度绑定垂直场景的解决方案商、拥有数据飞轮的产品公司、以及能在低成本下跑通业务闭环的创业者，将获得最大红利。这个拐点的到来，意味着AI产业从「卖算力」转向「卖效果」，但前提是国产芯片的集群稳定性真正经得起万卡级压力测试。