7.4
深览指数
科技虎嗅·硅碳变量··AI 生成

数据中心,正在拆掉Token时代的旧围墙

文章指出AI产业重心正从模型训练转向推理,Token消耗量的爆发式增长正在重塑算力基础设施的底层逻辑。传统“堆硬件、扩规模”的8卡服务器架构难以满足大规模推理对高吞吐、低成本、高稳定性的需求,超节点等整机柜一体化方案应运而生。但超节点有明确的场景边界,且技术路线未收敛、集群利用率存在潜在风险。文章适合关注AI基础设施、算力成本与产业趋势的从业者阅读。原文 ↗

核心观点
  • ▍AI算力竞争的主战场正从一次性训练峰值能力转向持续不断的推理开销,Token成为衡量产业价值的真实标尺。
  • ▍原有8卡服务器标准单元架构在万亿参数模型和大规模并发推理场景下暴露出数据搬运瓶颈,超节点方案正试图突破其天花板。
  1. 012026年3月,中国日均Token调用量突破140万亿,较2024年初的1000亿增长超千倍。
  2. 02摩根大通预测中国AI推理Token消耗量将从2025年约10千万亿增长至2030年约3900千万亿,5年增长约370倍。
  3. 03IDC预测全球年度Token消耗量将从2025年的0.0005 Peta Token增长至2030年的15万Peta Token。
  4. 04中国信通院报告指出,超节点通过NVLink等卡间直连技术将数十至上百张加速卡整合为超级计算单元,解决通信瓶颈。
  5. 05华为昇腾960超节点实现单节点4096卡规模、提供8E FP8算力,联想、超聚变等厂商也推出整机柜方案。
反方 / 局限
  • — 超节点的价值有其场景边界,不适合中小规模业务,强行部署可能因架构冗余和复杂度推高TCO。
  • — 底层互联技术路线(如NPO近封装光学、CPO共封装光学)未收敛,客户面临选型风险和后期的资产折旧压力。
  • — 超节点解决了生产效率问题,但无法回应产出Token能否获得持续付费的需求承接这一底层商业疑问。
10 分钟 · 5 卡片 · 13 资料
读原文 →

前置背景

技术原理

平行视角

未来推演

延伸追问