7.4
深览指数
科技微博·量子位··AI 生成
不换模型，效果提升104%！上海AI Lab让Harness也能自进化了
上海人工智能实验室团队提出的 Self-Harness 方法，让 Agent 模型通过分析自身执行轨迹，自动修改外层运行装置（Harness），并利用回归测试验证修改效果，在不更换底层模型的情况下显著提升性能。在 Terminal-Bench-2.0 上，Qwen3.5-35B-A3B 总提升达 104%。该工作被 LangChain CEO 和 Lilian Weng 关注，但核心思路并非让 Agent 完全自进化，而是为 Harness 的自动化迭代提供了一个边界清晰、可验证的框架。本文适合对 Agent 系统架构、自动化调优感兴趣的读者，帮助你理解“模型能力”之外的关键工程变量。原文 ↗
核心观点
- ▍Self-Harness 的核心思路是：在不更换底层模型、工具集和评测环境的前提下，让模型基于自身执行轨迹自动发现并修补外层 Harness（系统提示词、工具规则、验证器等），从而提升 Agent 系统性能。
- ▍Self-Harness 的关键机制是用回归测试（held-in 和 held-out 双维度）来验证每一次 Harness 修改，确保改动有效且不退化，这与普通“自动改 prompt”方法有本质区别。
- 01在 Terminal-Bench-2.0 上，使用 Self-Harness 后，MiniMax M2.5 总提升 28%，Qwen3.5-35B-A3B 总提升 104%，GLM-5 总提升 24%。
- 02不同模型暴露出不同的 Harness 弱点：MiniMax 2.5 找到线索后迟迟不提交文件；Qwen3.5-35B-A3B 在工具失败后陷入重复命令循环；GLM-5 需要更关注 shell 会话状态和任务切换节奏。
- 03Self-Harness 的工作流程分为三步：Weakness Mining（从失败轨迹中挖掘可复用的失败模式）、Harness Proposal（模型提出有边界的修改方案）、Proposal Validation（通过回归测试决定是否采纳）。
- 04Harness 的修改范围被限制在“预先声明的可编辑表面”上，不能推翻整个 Agent 控制架构，这保证了修改的边界和可追溯性。
- 05该工作被 LangChain CEO Harrison Chase 转发，并被前 OpenAI 副总裁 Lilian Weng 收录进“自进化 Agent”相关博客。
反方 / 局限
- — Self-Harness 并未证明“Agent 可以完全自进化”，其改进效果主要来自 Terminal-Bench-2.0 和固定模型后端，在更广泛、更复杂的 Agent 任务和环境中效果未知。
- — 回归测试的“held-in/held-out 不退化”规则虽然保守，但无法保证 Harness 在真实生产环境中的泛化性，且可能因数据集偏差而错过更优的改动。
Self-Harness上海人工智能实验室HarnessTerminal-Bench-2.0Qwen3.5-35B-A3BMiniMax M2.5GLM-5Harrison ChaseLilian WengLangChain
7 分钟 · 3 卡片 · 7 资料
读原文 →