7.3
深览指数
科技腾讯新闻·CSDN··AI 生成
有人每月烧掉1万美元！嫌Claude太贵，这家公司改用GLM：56张B200扛起2000名工程师，AI成本直降90%
英国金融科技公司Revolut因部分工程师每月AI编程支出高达1万美元且回报不明，转向自托管智谱GLM模型，将推理成本降至商业API的约十分之一，2000名工程师编码时间缩短60%、交付周期缩短70%。基础设施负责人David Abitbol披露：56张英伟达B200支撑规模化推理，经NVFP4量化与Prefill/Decode拆分等优化，首Token延迟从14.26秒降至1.68秒；他直言「长上下文是骗局」，25.6万Token已足够。视觉任务仍路由给GPT、Gemini。原文 ↗
核心观点
- ▍Revolut的案例证明，当AI编程从少数人试用走向全员规模化，商业闭源API的按量计费模式会迅速失控，自托管开源模型成为成本可控的可行替代。
- ▍降低Token成本的真实价值不在于让写代码更快，而在于让工程师愿意把调试、Jira工单、Confluence文档等杂活也交给AI，从而压缩整个交付周期而非仅编码环节。
- 01Revolut部分工程师每月在Claude Code等AI服务上的支出高达1000至1万美元，公司不得不设置严格Token预算，但预算限制反而抑制了工程师在日常杂活中使用AI的意愿。
- 02自托管GLM-5.1的输入输出综合成本约为每百万Token 0.30美元，约为OpenAI Codex或Anthropic Claude Code商业服务成本的十分之一，整体推理支出降至此前账单的约10%。
- 03采用GLM后，约2000名工程师的编码时间缩短约60%，从接手需求到代码合并的交付周期缩短约70%，交付周期降幅大于编码时间降幅，说明AI接管非编码杂活对整体效率贡献显著。
- 04GLM-5.1总参数量约7540亿，每Token激活约400亿参数；仅模型权重需约380GB显存，每用户上下文另需6GB至26GB显存，最终部署56张英伟达B200 GPU支撑规模化推理。
- 05在GPU数量不变的情况下，通过调整超参数、NVFP4量化、拆分Prefill与Decode、优化缓存与上下文配置，每秒请求处理量提升76%，首Token延迟从14.26秒降至1.68秒，降幅约88%。
反方 / 局限
- — Abitbol直言「长上下文是骗局」，认为25.6万Token已足够，百万Token窗口会导致KV Cache显存浪费；但这一判断基于Revolut自身编程场景，对需要超长文档处理的场景未必成立。
- — Revolut并未完全弃用商业模型，UI开发中的截图阅读与视觉理解仍交给Gemini和GPT，通过模型路由按任务分配，说明开源模型在视觉等能力上仍有短板。
- — 56张B200的硬件投入、模型部署、推理优化与日常运维成本并未披露，省下的API账单能否覆盖GPU与运维总成本，文章承认这是「最值得算清楚的地方」但未给出答案。
Revolut智谱GLMClaude CodeDavid Abitbol英伟达B200NVFP4量化KV Cache混合专家模型（MoE）AI Engineer大会OpenAI CodexGemini
10 分钟 · 7 卡片 · 17 资料
读原文 →