7.9
深览指数
科技虎嗅·极客邦科技InfoQ··AI 生成
谷歌开源Harness，支持OpenCode 和Codex：国内开发者接入Jev实测“真行”
谷歌开源了名为 Harness² 的智能体框架，其核心是通过两层递归机制（任务级和 Harnessing 级），在不动模型权重的前提下，持续调整提示词、记忆、工具等外部组件来提升 Agent 能力。文章详细介绍了该框架的原理（提出-探测-组合）和测试成绩（最高提升 11.5 分），但更值得关注的是其坦诚讨论的工程困境：评估与回归的难点、自动修改带来的安全风险、成本权衡，以及“过度工程化”的陷阱。适合正在构建或维护 Agent 系统的工程师与架构师阅读，能提供实操层面的警示与思考框架。原文 ↗
核心观点
- ▍Harness² 的核心贡献是在不修改模型权重的情况下，通过两层递归机制（任务级和 Harnessing 级），让 Agent 在任务中自适应调整外部组件，实现能力递归提升，尤其适用于无标准答案的真实企业场景。
- ▍文章指出，“模型-Harness-任务匹配”是核心难题，不存在放之四海而皆准的统一最优 Harness；同时，Harness 工程存在“过度工程化”的风险，维护成本可能反超 Agent 实际使用收益。
- 01Harness² 的任务级递归执行“提出—探测—组合”流程：生成多个修改方案，让不同版本执行同一任务，观察行为差异，再组合出更合适的 Harness。
- 02Harnessing 级递归维护一个持续存在的 “Improvement Harness”，保存并复用此前有执行证据支持的 Harness 方案和经验，形成闭环。
- 03在 JobBench、LAB 和 WorkBuddy-Bench 测试中，仅进行一步 Harness² 优化，WorkBuddy-Bench 成绩最高提升 11.5 分，JobBench 最高提升 4.5 分，LAB 通过率最高提高 11.8 个百分点。
- 04国内开发者 Joseph Zhou 声称，将 Harness² 接入 Jev 1.14 后，在不调整模型权重的情况下大幅提升了视觉任务表现。
- 05开发者 Viv 强调，Harness 的作用是放大模型已有能力，但不同模型（如 Claude 和 Gemini，Codex 和 Qwen）适用的工具形态和提示词方式不同，Harness 不可通用。
- 06文章引用一位开发者案例，其用 8 个月、883 次提交构建 Harness 系统，最终维护 Harness 本身消耗的时间甚至超过了真正使用 Agent。
反方 / 局限
- — 提升并非免费：每增加一轮递归，都需要更多模型调用和任务执行，本质上是用更多测试时计算换取更高成功率，生产环境中可能不划算。社区已提出增加--max-usd 成本上限的需求。
- — 安全风险突出：如果 AutoHarness 允许修改 Tool 和运行时逻辑，Agent 将生成并执行新程序。已有开发者发现，Proposer 产生的 harness.py 可能执行模块级代码，而前置 Gate 仅进行编译检查，沙箱和权限控制是亟待解决的问题。
- — 回归问题：一次 Benchmark 平均成绩提升并不能证明关键能力没有倒退。开发者需要维护历史失败案例集，但实践中常被忽视，导致新能力提升不代表系统整体进步。
- — 文章引用的“候选 Harness 生成并执行新程序”的风险说明，Harness² 的 Codex executor 默认关闭 sandbox，可能存在通过互联网获取公开 Benchmark 答案的风险，官方提醒正式评测需限制网络访问。
11 分钟 · 5 卡片 · 11 资料
读原文 →