7.3
深览指数
科技虎嗅·NaturePortfolio··AI 生成

别想了,AI还不能帮你做研究

AI 进行开放研究的全自动化仍遥不可及。一项新研究让 AI 系统基于已有论文独立开展课题并生成论文,再由原作者评审(影子评价),结果 AI 在两项任务中仅获 2/6 和 1/6 的低分。系统失败于过早锁定假设、缺乏回溯、自我评审不够负向,且无法生成真正的科学洞见和品味。文章核心立场是:AI 在狭义任务上有进步,但距离自主产出原创研究还差得很远。适合关注 AI 能力边界、科研自动化争议的深度读者。原文 ↗

核心观点
  • ▍AI 实现开放式研究的全自动化还早得很,目前只能优化现有技术,无法产生真正的研究突破。
  • ▍AI 系统在「影子评价」测试中得分极低(满分 6 分仅得 2 分和 1 分),说明其在提出原创洞见和科研品味上存在根本缺陷。
  1. 01Sakana AI 的 AI Scientist 系统在 2024 年公布,其生成的三篇论文在一次学术会议上送审,只有一篇得分达到接收标准。
  2. 02Kapoor 团队为 AI 任务设计了「影子评价」:让 AI 基于两篇 NeurIPS 论文的研究问题独立做课题和写论文,最终由论文原作者打分。
  3. 03AI 系统基于 OpenClaw 改良版,驾驭大语言模型 Claude Opus 4.8,配备联网、编程、运行实验、模拟同行评审等工具,每篇论文限时 6 天、算力上限 3000 美元。
  4. 04AI 系统能胜任工程任务,如跑数百个实验、生成像样的文献综述、发现自身「幻觉」并避免「奖励作弊」。
  5. 05系统失败主因之一:过早锁定一种假设,当方法无效时无法回溯,自我评审不够负向,不断缩小主张范围直至无意义。
  6. 06系统未能遵守指令和理解背景信息,留下大量未用完的时间和算力,论文写作和格式混乱。
反方 / 局限
  • — AI Scientist 的联合创建者 Cong Lu 认为,作者给系统设置的「护栏」不够,部分问题可通过约束力更强的驾驭层解决。
  • — Kapoor 团队内部存在分歧,几位共同作者对 AI 技术的潜力更为乐观,不认同 Kapoor 关于「科研独创性缺失」的判断。
  • — Kapoor 本人承认自己的 AI 怀疑主义立场,但表示团队已尽量给 AI 公平的机会,并计划改进模型和评估方法。
5 分钟 · 4 卡片 · 8 资料
读原文 →

前置背景

平行视角

未来推演

延伸追问