7.4
深览指数
科技Bestblogs·字节跳动Seed··AI 生成
EdgeBench：衡量真实世界环境学习，发现新 Scaling Law
字节跳动 Seed 发布超长程评测集 EdgeBench，包含 134 个横跨六大领域的真实世界任务，每个任务支持至少 12 小时连续交互。基于约 38000 小时的环境交互记录，研究发现 Agent 在持续学习中的整体表现高度遵循一条 log-sigmoid 曲线，并从图探索理论角度给出了解释。文章提出环境学习存在新的 Scaling Law：模型学习速度大约每三个月翻一倍。适合关注 AI Agent 前沿研究、LLM 能力评估的研究者和算法工程师阅读。原文 ↗
核心观点
- ▍Agent 在真实环境中的持续学习表现遵循高精度的 log-sigmoid 曲线，且学习速度（按 2 小时评测近似）大约每三个月翻一倍，意味着环境学习存在新的 Scaling Law。
- ▍Agent 环境学习的关键跃迁来自对任务的重新定义与拆解，而非简单的连续调优。
- 01EdgeBench 评测集包含 134 个高质量任务，覆盖科学、软件工程、白领知识工作等六大领域，每个任务支持至少 12 小时连续运行，人类专家平均需 57.2 小时完成，最高达 320 小时。
- 02基于 134 个任务、每模型 402 条学习曲线的聚合分析，发现 log-sigmoid 曲线平均拟合精度 R² 达到 0.998。
- 03选取 18 个初始表现相近的任务，对 2025 年 9 月至 2026 年 5 月间的多代模型进行 2 小时评测，发现最新模型的学习速度显著快于早期版本，增速符合指数趋势。
- 04以引力波任务为例，GPT-5.5 在 12 小时内将分数从 42.8 提升到 67.0，核心一步是 Agent 根据反馈重新组织问题结构，而非简单调参。
- 05图探索理论被用来解释 log-sigmoid 曲线的出现，但文章未详细展开该理论的具体模型或推导。
- 06EdgeBench 已开源 51 个任务及完整框架，但完整版 134 个任务未全部开源。
反方 / 局限
- — 学习速度“每三个月翻一倍”的结论，仅在 2 小时评测窗口下成立，且所选的 18 个任务为初始表现相近的子集，不能直接推广到所有任务或更长的交互周期。
- — 文章没有对比其他长程 Agent 评测方法（如 SWE-bench、AgentBench）的详细结果，或 EdgeBench 在其中的定位，读者无法判断该评测集的唯一性或优越性。
3 分钟 · 4 卡片 · 12 资料
读原文 →