7.8
深览指数
科技人人都是产品经理·浩子AIPM··AI 生成
别再只盯 GPU 利用率：算力平台真正该衡量什么？
本文是给平台产品经理的实操指南，核心观点是：算力平台的北极星指标不应是GPU利用率（设备层面），而应是一套从基础设施到业务结果的四层转化链指标。作者提出了一个具体框架：基础设施层（稳定性）→ 计算资源层（效率）→ 推理服务层（体验，含SLO和Goodput）→ 业务结果层（价值，含单位有效产出成本）。文章指出了三个常见产品经理陷阱（设备指标给业务看、只看平均值忽略尾部、先建大看板后想行动），并给出了最小闭环落地方法。适合负责大模型平台、AI基础设施或云服务的产品经理、技术管理者阅读，也可作为运维和工程团队的决策参考。原文 ↗
核心观点
- ▍算力平台不应以GPU利用率为北极星指标，而应建立一套从基础设施、计算资源、推理服务到业务结果的四层转化链指标，确保每一层优化不向下一层转嫁问题。
- 01NVIDIA DCGM文档明确指出，SM Activity高时warp可能只在等待内存请求，因此高GPU利用率是有效利用的必要条件，而非充分条件。
- 022023年vLLM论文提出的PagedAttention技术，在相同硬件下，通过优化KV Cache管理，使吞吐量较FasterTransformer和Orca提升2-4倍，证明软件栈对算力产出的巨大影响。
- 03国际能源署预计，全球数据中心用电量在2030年将达到约945TWh，约为2024年的两倍，算力竞争首先是对电力、制冷、网络等资源约束的系统工程。
- 04作者提出“单位有效产出成本”指标，将成本从GPU折旧扩展到全链路（电力、制冷、带宽、运维、失败重试），并将“有效产出”定义为达到质量门槛的业务结果（如客服解决率），而非Token数量。
- 05NVIDIA的AIPerf将“满足全部SLO的每秒请求数”定义为Goodput，强调吞吐量必须与服务等级门槛（如TTFT少于2秒）绑定，否则是转嫁成本给用户时间。
- 06文章举例指出，即使平均首字延迟为1秒，若P99延迟超过10秒，对于高频客服、搜索场景，尾部长尾体验仍会严重影响口碑。
反方 / 局限
- — 作者承认，提出的“单位有效产出成本”指标只有在同一业务场景、统一质量门槛和一致成本分摊规则下才适合横向比较，否则任务结构变化会导致数字失真。
- — 文章虽强调不要只看GPU利用率，但承认其作为运营指标仍有价值，类似工厂看设备开机率，不能完全放弃。
NVIDIA DCGMvLLM PagedAttention国际能源署 (IEA)GB200 NVL72FasterTransformerOrcaAIPerfTTFT (首Token延迟)TPOT (每输出Token耗时)Goodput
11 分钟 · 4 卡片 · 10 资料
读原文 →