深览
7.7
深览指数
科技人人都是产品经理·Z Finance··AI 生成

对话 Google AI 基建负责人：从芯片配比到全球部署，Agent 正在重写数据中心的建设逻辑

Google AI 基建负责人 Amin Vahdat 在红杉访谈中给出几个反直觉判断：FLOPS 是虚荣指标，应看扣掉故障与重复计算后的有效吞吐；token 生成能力每六个月翻倍，其中至少一半靠软件；十万卡集群每天多次故障，维修是长尾问题；七八年前的 TPU 仍 100% 利用率；推理需求已大到必须另建专用集群。适合关心算力经济、数据中心工程与 AI 基建投资逻辑的读者。原文 ↗

核心观点
  • ▍算力的账不能只看 FLOPS，要看有效吞吐（goodput）：扣除故障、等待和重复计算后，系统实际完成的有效工作。集群越大，快速检测并恢复故障越决定实际产出。
  • ▍AI 数据中心必须与硬件协同设计（co-design），牺牲通用性换取端到端性能；但通用化也有价值，关键是权衡性能损失与锁定风险。
  1. 01在 10 万加速器规模下，故障是每天甚至每小时多次的长尾问题，没有单一常见原因；软件 bug（编译器、运行时、模型）对性能的打击可能比硬件故障更致命。
  2. 02Google 要求 token 生成能力每六个月翻倍，其中至少一半（甚至更多）的提升来自模型优化、运行时优化等软件侧，而非硬件 FLOPS 翻倍。
  3. 03TPU 2013 年立项是反共识赌注，第一颗芯片专注推理，第二颗转向训练；Transformer 出现后彻底改变 TPU 项目，推荐系统也大量接入。
  4. 042026 年 TPU 拆分为 8i（推理）和 8t（训练），前提是预判推理需求将占市场 30%-60%；若只占 2%-5%，专用芯片快 2 倍也不划算。
  5. 05长时程 Agent 移除人类阅读间隔，请求频率从数秒级降至毫秒级，同时推高加速器、CPU、网络和存储需求；数据中心需重新考虑这些资源是否同楼部署。
  6. 06光路交换（OCS）用 MEMS 反射镜在毫秒内切换光路，TPU 机架故障时可重定向到备用机架，无需人工搬光纤。
  7. 07电力是根本约束：Google 首选接入公用事业电网并承担输电与变电站成本；若 2028 年需要 1GW 而电网只能给 700MW，则自建部分发电补充，并利用统计复用降低冗余成本。
  8. 08七八年老的 TPU 仍 100% 利用率，折旧寿命约 6 年；替换以 pod 为单位（如 TPU 8 pod 约 9600 颗芯片、152 个机架），新 pod 的 footprint 未必匹配旧空位，改造成本高。
反方 / 局限
  • — Vahdat 承认没有每瓦智能（intelligence per watt）的确切分解数据，只能定性判断模型侧改进贡献最大，缺乏量化归因。
  • — Sonya Huang 追问为何不将 Transformer 架构直接烧进芯片，Vahdat 承认下一步是针对具体模型做专业化，但未回答这种做法是否会牺牲长期灵活性。
Amin VahdatSonya HuangGoogleDeepMind红杉资本TPU有效吞吐（goodput）光路交换（OCS）长时程 Agent每瓦智能（intelligence per watt）TPU 8i / 8tJAX
42 分钟 · 1 卡片 · 2 资料
读原文 →

概念锚点