科技Bestblogs·Nick Hollon··AI 生成
调整框架而非模型：Nemotron 3 Ultra 实战手册
本文展示了通过纯框架调整——仅修改系统提示词、工具描述和中间件——即可将开源模型 Nemotron 3 Ultra 在智能体评测集上的性能提升至 0.86，几乎追平前沿模型 Opus 4.8 的 0.87。更重要的是，单次运行成本从 43.48 美元降至约 4.48 美元，节省约十倍。作者 Nick Hollon 基于 LangChain 实战，分享了评估驱动迭代、有效及无效的框架调整技巧，并指出框架调整存在天花板，无法弥补模型缺失的核心能力。适合从事 LLM 应用开发、对智能体系统成本敏感的技术决策者阅读。原文 ↗原文 ↗
核心观点
- ▍框架调整可以将开源模型的智能体性能提升至接近前沿模型水平，且成本大幅降低，但存在天花板，无法替代模型后训练带来的核心能力增长。
- ▍核心方法论是固定模型权重，通过迭代评估循环优化系统提示词、工具描述和中间件，将基础架构改进与模型权重更新解耦。
- 01在 Deep Agents 评测集上，经过框架调整的 Nemotron 3 Ultra 得分 0.86，仅比 Opus 4.8 的 0.87 低 0.01，但单次运行成本仅为 Opus 4.8 的约十分之一（4.48 美元 vs 43.48 美元）。
- 02评估驱动的迭代循环中，每个改动先在廉价且具代表性的筛选器上测试，只有在多次试验中稳定提升且不使其他任务性能倒退的改动才会被采纳，从而防止过拟合噪声。
- 03有效的改动包括小而专的模块（如强制最终答案完整性的微调模块）和按需注入指导的“情境工程”中间件；而广泛的提示词重写效果不佳。
- 04调整全长为 10 页、超过 1000 行工具描述的提示词可获得明显收益，作者认为这是现代智能体流程中维持模型状态感知的关键。
反方 / 局限
- — 作者明确指出，框架调整存在天花板。当所有框架调整都无法再提升性能时，表明差距在于模型的后训练阶段，此时需要进一步训练模型，而非进行更多框架调整。
概念锚点
前置背景
平行视角
延伸追问