科技微博·机器之心Pro··AI 生成
哪些能力该内化进模型,哪些必须交给Harness,这篇讲透
这篇由多所顶尖高校联合完成的学术综述,提出了一个评估LLM Agent决策质量的统一框架:Agent应在模型内部推理与外部行动(Harness)之间找到最佳边界。文章核心贡献在于将内化(Internalization)与外化(Externalization)作为设计主轴,系统分析了知识、技能和控制能力在模型参数与外部系统间的配置原则。对于深度读者而言,它提供了一个超越“某种技术更好”的元视角,可用于判断RAG与长上下文、Agent与工作流等技术选择的适用场景。适合AI研究者、架构师及对Agent系统有实践需求的技术决策者阅读。原文 ↗原文 ↗
核心观点
- ▍Agent设计的关键决策是判断能力应内化进模型参数还是外化到Harness中,这个边界决定了系统的可靠性、效率和安全性。
- ▍Agent的常见失误(过度思考、过度行动、行动不足等)本质上是Agent对自身能力边界的高估或低估,导致推理与行动投入失配。
- 01稳定、经常复现且有摊销价值的规律(如高频工具使用策略)适合内化进模型;实时变化、高风险或需要审计的信息适合留在外部Harness。
- 02论文提出了认知智能比率(η)来衡量单位认知努力带来的有效信息增益,作为评估Agent决策效能的统一指标。
- 03在评测Agent时,不能只看成功率,还需同时报告内部成本、外部成本、安全风险和过程质量,单一的排行榜分数无法呈现这些差异。
- 04论文设计了反事实评测协议,通过对比“无工具访问”“固定工具访问”“自适应工具访问”三种条件来检测Agent的边界决策是否合理。
- 05内化学习需考虑四方面:内化记忆、内化规划与推理、内化工具使用策略、内化世界模型。
- 06外部Harness包括三类支持:外部记忆(保存动态状态和历史)、外部技能(可复用的操作单元)、外部编排(控制流、权限、验证)。
- 07Agent对齐不仅需要对齐输出,还要对齐何时检索、调用工具、停止以及委派给其他Agent的决策。
反方 / 局限
- — 论文承认“完美的边界判断”是一个开放问题——Agent本质上是在不确定性下决策,即使有框架指导,模型也无法总是准确估计自身能力边界。
- — 内化与推化并非总能泾渭分明,如长上下文与RAG的选择、工具集成推理与工具内化推理的争议,具体选择高度依赖场景,难以给出普适最优解。
12 分钟 · 4 卡片 · 10 资料
读原文 →前置背景
平行视角
未来推演
延伸追问