7.8
深览指数
科技微博·机器之心Pro··AI 生成
机器学习Agent的真正瓶颈，不是写代码，而是判断哪个实验值得跑
浙江大学与蚂蚁集团的联合研究指出，当前机器学习Agent的瓶颈不在于生成代码或设计循环，而在于“执行”环节的成本过高。论文提出Data-centric Solution Preference任务，让LLM在执行前预测哪个方案更优，准确率达61.5%。基于此设计的FOREAGENT框架实现6倍加速和6%性能提升。该工作揭示了一个关键洞见：执行前预测与真实执行是互补的两条判断路径，前者基于语义理解，后者基于经验结果。适合关注AI Agent、AutoML与自动科研的效率瓶颈的从业者阅读。原文 ↗
核心观点
- ▍机器学习Agent的真正瓶颈不是生成代码或循环设计，而是执行前判断哪个方案值得跑的执行成本过高。
- ▍LLM在完全不执行代码的情况下，能从静态输入中预测代码方案优劣，准确率达61.5%，显著高于随机基线（50%）和复杂度启发式基线（50.8%）。
- 01研究者构建了Preference Corpus，包含来自AIDE和AutoMind两个Agent在MLE-Bench上产生的18438对方案比较，覆盖CV、NLP、Data Science三大领域26个任务。
- 02主实验中DeepSeek-V3.2 Thinking模式平均准确率61.5%，GPT-5.1为58.8%，随机基线50.0%，复杂度启发式基线仅50.8%。
- 03只给代码时模型已能超过随机，加入Data Context后进一步提升，使用语义化的Verified Data Report效果最好；但Context Mismatch实验显示，配上无关数据上下文后准确率几乎没有提升。
- 04在Qwen系列从4B到1T的测试中，30B之后性能进入平台期，1T相对30B几乎没有增益，说明预测依赖的是语义理解与代码分析能力，而非单纯参数规模。
- 05FOREAGENT框架在5个AI4Science任务上实现6倍加速、3.2倍更多节点探索、Beat Ratio提升6%。
- 06即便真实执行，验证指标对测试性能的预测准确率也只有72.2%（存在Validation-Test Gap），说明执行本身也不是完美信号。
反方 / 局限
- — 任务分布不均衡：分类和回归等主流范式占比高，音频分类、Tabular Grading等长尾任务样本少，限制了结论的泛化性。
- — 模型在全局排名（Listwise Ranking）上Accuracy@1从61.3%掉到31.1%，目前只擅长成对比较，缺乏全局判别力。
- — 论文采用保守的Predict-then-Verify实现，未充分探索更复杂的推理时搜索策略，因此给出的是下界而非上限。
浙江大学蚂蚁集团郑景升Boris ChernyClaude CodeMLE-BenchAIDEAutoMindData-centric Solution PreferenceVerified Data ReportFOREAGENTLoop EngineeringACL 2026
12 分钟 · 4 卡片 · 9 资料
读原文 →