7.9
深览指数
科技Bestblogs·阿里技术··AI 生成
Harness 工程实践：如何让 Agent 完成自主迭代
阿里技术团队借鉴 OpenAI Harness 工程理念，让 AI Agent 在 17 小时内自主完成 16 轮 prompt 迭代优化，并产出可上线版本。作者深入复盘了落地过程中的工程陷阱：将部署评测平台改造为 Agent 可调用的工具、通过「禁止提问」「父子 Agent」等技巧解决早停与上下文窗口打爆、引入训练/验证集分离与 champion-challenger 机制防止 reward hacking。文章坦诚分享了16轮迭代仅1轮可用的教训，并指出评测集质量与平台稳定性是更深层的瓶颈。适合正在实践或评估 AI 自主编程的工程师与团队决策者阅读。原文 ↗
核心观点
- ▍Harness 工程的核心是将软件研发从「人手写代码」转为「人定义目标与验收，Agent 执行、验证、修复与交付」，让 Agent 承担 80% 的执行工作。
- ▍落地 Harness 工程必须补齐三大能力：工具 Agent 化、长程任务稳定性、防 reward hacking 机制，舍此不可落地。
- 01团队用 17 小时、16 轮迭代、调用 2 次 GPT-4o 和 50 次 DeepSeek 完成优化，最终产出效果不错的上线版本。
- 02为防止 AI 在长程推理中「早停」或「空转」，作者设计了「禁止提问」prompt，并要求 AI「一次只做一件事」，有效减少模型偷懒行为。
- 03通过父子 Agent 拆分：子 Agent 执行杀进程、部署等原子操作，父 Agent 做规划与决策，避免单次上下文窗口爆满。
- 04Champion-challenger 机制：AI 必须从历史最佳策略（champion）出发改进，在验证集上全面超越后才能成为新基线。
- 05复用机器学习训练集/验证集分离思想：用一个评测集做优化（训练），另一个做最终验证，防止模型过拟合到评测用例。
- 06团队将部署平台改造为 MCP 协议接口，将评测平台改造为 CLI 命令，让 Agent 可以像调用函数一样操作这些研发工具。
反方 / 局限
- — 作者坦诚 16 轮自主迭代中仅 1 轮可用，评测标准不合理或平台不稳定会直接导致 AI 被错误信号带偏。
- — Harness 工程对模型能力和工程基础设施要求极高，简单场景下使用顶级 Coding Agent 成本可能高于人工直接修改。
- — 文章未深入讨论：当评测集本身覆盖不全或业务规则复杂时，AI 自主迭代产生的「最优解」可能在未覆盖场景下严重退化的风险。
4 分钟 · 4 卡片 · 8 资料
读原文 →