7.4
深览指数
科技微博·机器之心Pro··AI 生成

清华大学AI4S研究新进展:让科学智能体发现公式、探索机理

清华大学提出 SRHarness 运行时框架和 MechBench 机制发现基准,系统性地将 AI 科学发现拆解为「发现数学规律」和「理解物理机制」两个层次。实验表明,当前最强模型(GPT-6-Astra)在发现公式上表现突出,但在推导规律背后的机制时,机制恢复率仅 47.5%,揭示了一道显著且被忽视的能力鸿沟。该工作为 AI for Science 从「拟合观测」走向「机制理解」设立了可量化的标尺,尤其适合关注科学智能体前沿进展和 AI 能力边界的深度读者。原文 ↗

核心观点
  • ▍当前最先进的 AI 科学智能体(如 GPT-6-Astra)在「发现数学规律」上已取得显著进步,但在「理解规律背后的物理机制」上仍存在巨大的能力鸿沟,后者是本质上更难的下一关挑战。
  • ▍AI for Science 正从单次公式生成、拟合观测的阶段,迈向长程科学搜索、理解机制的新范式,未来的核心竞争力将来自模型、搜索策略与运行框架的协同设计。
  1. 01SRHarness 框架在 LSR-Transform 基准上,搭载 DeepSeek-v4-flash 模型时符号恢复率达 93.69%,远超此前最先进方法 SR-Scientist 的 62.16%,提升超 30 个百分点。
  2. 02在匿名化测试(LSR-Transform-Anon)中,SRHarness 的符号恢复率仍达 72.97%,高于同模型下 Codex 的 20.72%,甚至超过搭载 GPT-5.5 的 Codex(68.47%),说明其发现公式的能力主要依赖主动交互而非模型内置知识。
  3. 03SRHarness 以「可复用科学动作」「持久化科学状态」「轨迹生命周期管理」三大机制为核心,将符号回归中的底层执行、假设管理和长程搜索显式化为可复用的基础设施。
  4. 04基于 MechBench 的评测显示,Codex(GPT-5.6-sol)的规律恢复率为 35.00%,但机制恢复率仅为 13.75%。即使正确给出唯象规律,其机制恢复率仍不足 50%。
  5. 05搭载 GPT-6-Astra 的 Codex 在规律恢复率上显著提升至 72.50%,但机制恢复率也仅达 47.50%;在其正确恢复规律的案例中,仍有 43.10% 未能恢复全部机制。
  6. 06SRHarness 已开源并提供在线 Demo。搭载更经济模型(DeepSeek-v4.1-flash)时,其性能逼近搭载 GPT-6-Astra 的 Codex,在材料科学领域分布外准确率达 100%。
反方 / 局限
  • — 文章承认并着力量化「机制不可分辨」问题:多个科学上合理的底层机制可能产生完全相同的观测现象,导致智能体无法通过外部数据唯一确认哪个机制是正确的。
  • — MechBench 基准本身存在局限性:其构造机制的方式是对「熟悉经典机制施加受控突变」,这虽避免了背诵答案,但与真实科学发现中完全未知的机制场景仍有距离。
14 分钟 · 2 卡片 · 3 资料
读原文 →

前置背景

平行视角