科技 Bestblogs · AI Engineer · 昨天 01:00 · AI 生成
从零构建智能体评测排行榜：Wolfram Ravenwolf 的实战方法 Wolfram Ravenwolf 在 AI Engineer 工作坊中现场演示了如何构建智能体的评测流程，其核心观点是：评测应关注完整的智能体配置（包含模型、工具、提示词、沙箱等），而非孤立的模型名称；重复运行比单次平均分更能揭示可靠性差异。这篇文章给出了可复用的评测框架和数据判读方法，适合从事 AI 应用开发或负责模型选型的技术决策者阅读，帮助其理解如何在成本和性能之间做出基于数据的权衡。原文 ↗ 原文 ↗
核心观点
▍ 评测智能体的正确对象是完整的配置组合（数据集、模型服务端点、智能体版本、沙箱、提示词、工具和时间预算），而非孤立的模型名称；改变任一变量都意味着实验条件发生变更，排行榜上的单一平均分数不足以说明问题。 ▍ 由于智能体表现呈现分布而非单点，重复试验是必要的。WolfBench 通过对比多次运行中稳定完成的任务比例、波动区间和至少成功一次的上限，可以区分哪些能力是稳定具备的，哪些只是偶然成功。 01 工作坊使用了 Terminal Bench 和 Harbor 作为基础，组合了隔离沙箱、智能体运行框架、固定版本的基准、推理服务及资源限制来构建评测环境。 02 WolfBench 工具汇总重复运行的结果，分别展示每次都成功的稳定性、平均表现、最好和最差结果，以及至少成功一次的能力上限。 03 现场完成一个 Git 修复任务，这只能证明该次试跑成功，不能代表完整的基准成绩，因为单次运行就像抽签。 04 仪表盘会排除不完整运行、导出数据，并将排行榜分数连接到 Weave 执行轨迹，轨迹本身就是证据。 05 检查轨迹可以解释反直觉现象，例如在固定时间预算下，更高的思考强度反而使编码智能体完成更少的任务，因为思考时间消耗了执行时间。 06 最终选型决策还应考虑 token 消耗和总成本，而不仅仅是排行榜上的成功率。 反方 / 局限
— 工作坊虽然给出了可复用的评测流程，但转录笔记没有提供可供独立核验的跨配置对照结果，例如不同智能体版本在相同条件下的具体得分差异。这意味着读者的结论仍需通过自行搭建环境复现来验证。
概念锚点 SWE-bench 系列：AI 编程的考卷
Ravenwolf 的工作坊基于 Terminal-Bench 和 Harbor 框架，而整个智能体编程评测领域最被广泛引用的基准是 SWE-bench 系列。由普林斯顿大学于 2024 年发起，它从 GitHub 真实 Issue 中抽取任务，要求 AI 生成代码补丁。该家族包含多个版本：SWE-bench Verified（500 个精选样本）、SWE-bench Pro（1865 个企业级任务，平均涉及 4.1 个文件修改），以及后续的 SWE-bench-Live。2026 年 7 月，OpenAI 审计后发现 SWE-Bench Pro 约 30% 的任务存在测试缺陷，例如要求与题面描述不符的隐藏规则，随后撤回了对该基准的推荐。这一事件与 Ravenwolf 强调「评测完整配置而非模型名称」的理念形成呼应。
▸ 3 条关联资料
▼
前置背景 Terminal-Bench：终端里的实操考场
Ravenwolf 工作坊使用的 Terminal-Bench，是一个比 SWE-bench 更贴近「动手干活」的基准。它不考代码补全，而是把智能体放进一个隔离 Docker 容器，给它一个 bash 提示符，让它完成 89-200 个真实终端任务——编译代码、配置 Nginx、修复内存泄漏、排查端口冲突。每项任务有自动化判据（如文件是否存在、服务是否监听），拒绝「看起来对」的模糊评价。Terminal-Bench 2.1 版本由斯坦福大学和 Laude Institute 联合开发，还专门设计了 30 个「陷阱任务」，在描述中故意加入歧义，测试模型是否会执行危险命令。Claude 4.8 的安全拒绝率达 98.5%，而 Grok 4.3 仅 90.5%，差距明显。
▸ 3 条关联资料
▼
平行视角 同一笔账两种叙事：成本之争
Ravenwolf 强调评测要纳入 token 消耗和总成本，而业界对这个「成本」的定义正在两极分化。一方认为全套 Terminal-Bench 4.0 跑一次的成本已达 6000 美元量级——300 个任务、每任务 50 轮交互、容器并行资源消耗是比模型推理更早出现的瓶颈。另一方则看好开源模型快速缩小差距：Kimi K3 落后闭源第一仅 0.5 个百分点，DeepSeek-V4 已到生产级水平，成本远低于 GPT 系列。更深层的「反 LLM」叙事以 TypeSafe 公司的 Jev 模型为代表，它用非文本架构大幅降低 Token 消耗，估值达 75 亿美元，暗示竞争重心正从「更大参数」转向「每美元推理次数」。
▸ 3 条关联资料
▼
延伸追问 除了平均分，评测还该看什么
Ravenwolf 说「一个分数远远不够，因为表现是一种分布，不是单个点」。但实际工程中，多数团队仍然只盯一个平均分。真正值得追问的是：如果多次运行的结果差异很大，你信哪一次？Bootstrap 采样能从当前样本中模拟「抽样分布」，给出一个置信区间，而不只是点估计。另一个更细的分辨率来自混淆矩阵——准确率在正负样本悬殊时的欺骗性（99% 准确率的欺诈检测模型可能毫无价值）在 Agent 评测中同样成立：一个智能体 80% 的任务做对了，但做错的那 20% 是否恰好是核心场景？这比单一分数更能揭示「该不该上线」。
▸ 3 条关联资料
▼