7.4
深览指数
科技微博·机器之心Pro··AI 生成
从「刷榜」到「做科研」：研究员还有多久被 AI超越？
本文介绍了旨在评估AI科研智能体真实研究能力的OpenRSI Index基准。它不是传统刷榜测试，而是要求AI在数千H100·小时的算力投入下，改进Marin、Qwen等开源项目的实际训练方案，并通过独立验证循环保证结果可信。文章详细阐述了其双循环评估机制、独立验收环境与社区共建理念，核心论点是：真正的科研能力衡量标准应从“刷榜”转向“可验证的真实课题改进”。适合对AI前沿能力边界、科研自动化及基准设计有深度兴趣的读者。原文 ↗
核心观点
- ▍衡量AI科研能力的核心标准应从简单的“刷榜”转向在真实科研复杂度下进行可验证的课题改进，OpenRSI Index正是为此设计的基准。
- 01OpenRSI Index的三个代表任务（改进Marin优化器、为Qwen设计RL任务、从GPIC数据改进生成方法）各自需要5815至20864个H100·小时的算力，远超传统基准。
- 02基准通过“内循环（研究循环）”和“外循环（验证循环）”分离运行，确保AI的每次改进提交都在一个独立的、不可干预的Judge环境中被重新验证，防止数据污染和作弊。
- 03任务源自Marin、Qwen、GPIC等真实开源研究项目，要求AI在已有成果上改进模型训练方案，而非解决简化后的测试题。
- 04该基准的导师阵容强大，包括Luke Zettlemoyer、Karthik Narasimhan、Yejin Choi、Dawn Song等顶级学者，覆盖语言模型、Agent、常识推理等多个方向。
- 05通过“RSI-Anything”项目，任何开放科学研究者可在约1小时内将自己的课题转化为AI可执行的RSI任务环境，实现社区共建。
反方 / 局限
- — 文章承认，OpenRSI Index很容易被理解为“只是把Benchmark做得更贵了”，其价值取决于具体任务、预算和评价标准。
- — 尽管有独立验证，但最终“一次有效提交究竟能够说明什么”仍然受限，不能完全等同于科研创造力或所有科研场景。
OpenRSI Index递归自我改进（RSI）Marin-Scaling-Ladder（Marin）Qwen-122B-RL-Merge（Qwen）GPIC（视觉生成）Luke ZettlemoyerKarthik NarasimhanYejin ChoiDawn SongRSI-HarnessRSI-AnythingOpenRSI Foundation人类反馈强化学习（RLHF）
10 分钟 · 4 卡片 · 7 资料
读原文 →