7.1
深览指数
科技腾讯新闻·AI寒武纪··AI 生成
Databricks CEO用自家3000名程序员真实任务测试：GLM 5.2表现夯爆了
Databricks CEO Ali Ghodsi基于公司超3000名工程师的真实代码库，对主流大模型及多种执行框架（Harness）进行了大规模编码能力测试。核心发现包括：同一模型更换框架，任务成本可差近2倍，且每Token价格不代表实际成本；开源模型GLM 5.2表现惊人，与Opus 4.8质量持平但成本更低。文章详细披露了其构建企业级代码基准测试的方法论，并介绍了其自研调度系统Omnigent。对于正在做AI编码选型或优化成本的开发团队和CTO，提供了具体、可复用的决策参考。原文 ↗
核心观点
- ▍在编码任务的帕累托前沿上，没有一家供应商能垄断全场景，OpenAI、Anthropic和开源模型同时存在。开源模型GLM 5.2已能应对最高难度编码任务，与Opus 4.8质量持平但成本更低（1.28美元 vs 1.94美元）。
- ▍调用模型的框架（Harness）对成本和质量有决定性影响，同一模型切换框架成本可差近2倍。Databricks为此搭建了智能调度层Omnigent，实现模型与框架的组合按任务灵活切换。
- 01测试基于Databricks的真实业务代码，覆盖3家主流云厂商，由3000多名工程师的实际工作产出支撑，涉及Scala、Go、Rust、Java、Bazel等多种语言和工具链。
- 02模型与框架可划分为三个能力梯队：顶端高智能模型（如Opus 4.8、GLM 5.2）成本极高；中低梯度模型（如Haiku、GPT 5.4 Mini）处理常见任务性价比优。
- 03Sonnet 5的Token单价比Opus 4.8便宜1.7倍，但实际任务成本（2.09美元）反而高于Opus 4.8（1.94美元），且完成率低6%。原因是Sonnet 5需读取更多上下文、尝试更多轮次。
- 04使用Pi框架比Claude Code或Codex框架，每次交互发送的上下文减少约三倍，从而用更少轮次完成任务，成本差距超两倍。
- 05测试集构建经过严格筛选：选取近期人工编写的高质量PR，去除自动生成提交；任务侧重模块自治，并通过客观测试通过率而非LLM裁判判定结果，同时隔离Git历史防止作弊。
反方 / 局限
- — 公开测试集（如SWE-Bench）存在任务泄露风险，且无法代表包含多语言和复杂工具链的企业私有代码库。Databricks的基准测试虽高度定制，但构建成本高、需大量人工校准，中小企业难以复制。
- — 文章主要基于Databricks自身场景，结论对工程文化、代码库规模及任务分布类似的公司有较强参考性，但通用性可能有限。测试未披露GLM 5.2在处理极端复杂或罕见Bug时的表现方差。
DatabricksAli GhodsiGLM 5.2Opus 4.8Sonnet 5HaikuGPT 5.4 MiniPiClaude CodeCodexOmnigentUnity AI GatewaySWE-Bench
8 分钟 · 4 卡片 · 12 资料
读原文 →