7.7
深览指数
科技微博·机器之心Pro··AI 生成
RSI火了但自进化也会过拟合：Google等提出RRSI，给自进化施加正则化
论文指出，当前Agent的递归式自我改进（RSI）在有限任务集上反复迭代，会产生过拟合——Agent可能只是记住了Benchmark的特定模式,而非真正泛化。Google等提出的RRSI方法，并非限制Agent能修改哪些内容（Prompt/工具/流程均可改），而是对“修改过程”施加正则化：限制每次修改的耦合数量、保留完整进化历史、要求每个候选改动必须通过噪声阈值和成本校验才能被采纳。实验表明，去掉正则化的RSI在进化集上分数更高（92.8 vs 90.5），但三个OOD基准平均更低（40.3 vs 43.6），且每个Trial消耗更多Token。本文适合关注Agent自我改进泛化性、想跳出“刷榜逻辑”的研究者或工程团队。原文 ↗
核心观点
- ▍Agent的Recursive Self-Improvement在一个有限Benchmark上反复迭代，天然存在overfitting——Agent实际上是在过度适应Evolution Set的模式、噪声和复杂度，而非获得真正的能力泛化。
- ▍解决思路不是限制Agent能改什么（Prompt/Tool等均可改），而是对“修改过程”施加正则化（RRSI），让每一次候选改动都必须证明自己的泛化价值。
- 01RRSI在Agentic Workspace的Ablation中：Unregularized Evolution的evolve score达92.8（高于RRSI的90.5），但三个OOD Benchmark平均仅有40.3（低于RRSI的43.6），且每个Trial耗费3.80M Policy Tokens（RRSI仅2.42M）。
- 02RRSI在Coding、Agentic Workspace和Engineering Design三类环境、共8个Benchmark上验证，仅在Terminal-Bench 2.1进化后冻结，在SWE-bench Verified等未见过Benchmark上最高OOD提升达+4.7 points。
- 03Proposal端的正则化限制：每次修改的机制数量随进化轮次递减（前期可广泛探索、后期单次修改范围收窄）；保留完整Evolution History（成功/失败假设、cost记录）作为后续搜索的证据；长期停滞时把capacity转向未被探索的Harness component。
- 04Selection端的严格筛选：Candidate不能仅因“分数涨了”就被采纳；Benchmark-specific改动被提前筛掉、落在evaluation noise范围的涨分不写入永久状态、额外增加的Token必须用足够Performance Gain证明价值、长期无贡献的机制被Prune。
- 05以Gemini 3.5 Flash在Terminal-Bench 2.1上的30轮进化为例：最终Incumbent Harness从64.6提升至78.7，但30轮中真正被接受的Candidate只有10个，其余因未产生足够measured gain、被Screening拒绝、未通过Smoke Test或未生成Proposal。
反方 / 局限
- — 论文核心假设“Benchmark-specific fitting一定有害”隐含的前提是OOD Benchmark与Evolution Set分布有足够差异。如果目标应用场景与Evolution Set高度同分布，过度正则化可能抑制Agent适应速度。
- — RRSI的Selection机制依赖噪声阈值设定和Screening规则，这些规则本身也是超参数。没有讨论这些超参数在不同Domain或LLM模型下的鲁棒性，以及过度严格的筛选是否可能导致真正的Progress被错误拒绝。
Recursive Self-Improvement (RSI)RRSI (Regularized Recursive Self-Improvement)Agent HarnessGoogle ResearchTerminal-Bench 2.1SWE-bench VerifiedAgentic WorkspaceJobBenchGDPvalAPEX-AgentsFrontier-EngGemini 3.5 Flash
11 分钟 · 5 卡片 · 10 资料
读原文 →