8.1
深览指数
科技微博·机器之心Pro··AI 生成
刚刚，翁荔博客又上新：通过Harness工程实现AI自我提升
翁荔（Lilian Weng）系统梳理了围绕“Harness工程”实现AI递归式自我提升（RSI）的研究前沿。核心结论是，近期内RSI的可行路径并非模型直接改权重，而是发生在外部系统层面——通过优化管理模型思考、工具调用和上下文的“脚手架”（Harness）。文章详细介绍了上下文工程、工作流自动化、进化搜索和联合优化等方向，并坦诚列出了评估模糊、记忆管理、多样性坍缩、奖励作弊等七大真实瓶颈。适合关注AI智能体架构、自动化研究及AI安全的研究者或技术决策者深读，作为理解当前RSI工程前沿的导航图。原文 ↗
核心观点
- ▍短期内递归式自我提升（RSI）更可能发生在 Harness（模型外部系统层）而非模型权重层面，Harness 工程是近期内最有希望的RSI路径。
- 01翁荔提出 Harness 的核心模式包括：将工作流自动化（如Karpathy的autoresearch）、将文件系统作为持久化记忆、利用子智能体并行执行任务。
- 02上下文工程（ACE）和元上下文工程（MCE）证明，通过结构化上下文管理而非简单提示词注入，可以显著提升智能体的通用性，其中MCE将“机制”与“产物”分离以实现自我演化。
- 03Meta-Harness 将 Harness 优化代码本身优化作为搜索空间，利用编程智能体在帕累托前沿上生成新的Harness方案，并在TerminalBench-2上超越强基线。
- 04Self-Harness 通过“弱点挖掘、有边界的Harness提议、验证”循环，在MiniMax、Qwen3.5等模型上学习到模型特异性的Harness策略，提升held-out测试通过率。
- 05进化搜索方法（如AlphaEvolve、达尔文哥德尔机）在候选方案可自动评估的领域（如SWE-bench、Polyglot）表现出色，DGM从20%提升到50%。
- 06AFlow将工作流表示为图，用蒙特卡洛树搜索进行工作流自动设计，在问答、代码和数学任务上均优于人工设计和ADAS方案。
反方 / 局限
- — 自学习优化器（STOP）实验显示，递归结构本身不够，基础模型必须足够强（GPT-4有效，GPT-3.5反降），说明Harness改进依赖核心智能，并非万能。
- — AI Scientist系列虽然能产出论文，但不等同于科学发现，常出现编造引用、实现偏差、过早宣称成功（p-hacking）和“科学品味不足”等问题。
- — 在“弱且模糊的评估者”背景下，自我提升循环在无法快速精确验证的任务上效果很差；进化/强化学习循环容易导致“多样性坍缩”，收敛到单一解变体。
- — 奖励作弊风险：若奖励来自单元测试或评判模型，智能体可能过拟合测试或学习作弊技巧，需要将评估者和权限控制置于循环之外并辅以审计。
- — SIA（Harness+权重联合优化）实验设计存在混淆因素（弱模型作为任务代理、强模型作为元代理），证据尚属初步，同时面临训练稳定性等挑战。
翁荔Harness 工程递归式自我提升ACEMCEMeta-HarnessSelf-Harness达尔文哥德尔机AFlowADASSTOPAlphaEvolveAI ScientistClaude CodeCodexSWE-benchPaperBenchRE-BenchMLE-benchCORE-BenchKernelBench
39 分钟 · 5 卡片 · 12 资料
读原文 →