7.2
深览指数
科技腾讯新闻·未尽研究··AI 生成
中国开源模型被“打回原形”了吗
Artificial Analysis 智能指数升级到 v5 后，把 60% 权重改到私有测试集，并新增 FrontierCode 2.0 与 Terminal-Bench-Science，中国开源模型排名集体跳水。作者认为变的是尺子而非模型本身，但尺子转向有其合理性：国内厂商把资源押在已验证商业化的 AI 编程与智能体，科研预训练与后训练被忽略，在科研长程任务基准上领先闭源模型通过约六成任务、国产模型多停在 10% 左右。作者同时引 Nathan Lambert 的反驳，认为单一尺子夸大衰落，也承认这块短板不能因编码性价比仍在就被忽略。原文 ↗
核心观点
- ▍国产开源模型排名骤降的直接原因是评测尺子变了：AA 智能指数 v5 将 60% 权重移到私有测试集，并把科学推理权重提升到 25%，而非模型能力一夜崩塌。
- ▍但尺子转向不是无理由的：AI 编程渗透短期趋于饱和，行业竞争焦点正从编码转向科研工作流闭环，科研能力可能成为贯穿 2027 年的叙事。
- 01新版指数中，已开放权重的现役国产模型最高为 DeepSeek V4.1 Flash 1017（第 14）与 GLM 5.3（第 15），得分低于 Anthropic 入门款 Claude Haiku 5.5；Kimi K3.1 Pro 与 Qwen3.8 Max 虽进前列但未开放权重。
- 02旧版权重为通用 30%、智能体 30%、编码 20%、科学推理 20%，新版权重改为四类各 25%，智能体收敛为知识工作，科学推理泛化为科学。
- 03在 Terminal-Bench-Science 上，领先闭源模型能通过约六成任务，多数中国开源模型停留在 10% 左右，形成断崖式落差；谷歌 Gemini 4 Carbon 夺回榜首也主要靠数学与科学基准。
- 04DeepSeek 创始人梁文锋在流出的投资者纪要中把高质量数据标注列为关键差距，称团队有一半研究员参与标注，需约一年才能较好解决。
- 05国内厂商今年把精力集中在编码与智能体，GLM-5.2 与 Kimi-3 在夏天已能被全球开发者用来部分替代昂贵前沿模型；而 DeepSeek 早年专门做过数学推理与定理证明模型，如今这条线反而弱化。
- 06Anthropic 在招股书中估算全球生物医药行业价值 2 万亿美元，OpenAI 与 Anthropic 都在推 AI 进入真实科研流程并建湿实验室反馈闭环。
反方 / 局限
- — 开源模型研究者 Nathan Lambert 认为开源模型衰落被过度夸大，一把尺子难衡量不同场景表现，私有测试集还降低了外部可审计性，影响对测评机构独立性的信任。
- — 作者承认算力与资本约束、高质量数据起步晚，是资源被迫集中投向 AI 编程的现实前提，这意味着科研能力的落后未必是战略误判，而是约束下的取舍。
- — 中国开源模型在 AI 编程领域的性价比优势并未因排名方法改变而消失，综合排名下降不等于商业价值下降。
Artificial Analysis智能指数 v5（Intelligence Index v5）Terminal-Bench-ScienceFrontierCode 2.0DeepSeekKimiGLM（智谱）Qwen（阿里）AnthropicOpenAI梁文锋Nathan LambertDean BallHLECritPt递归进化（recursive self-improvement）
40 分钟 · 6 卡片 · 17 资料
读原文 →