7.7
深览指数
科技虎嗅·AIGC从0到1··AI 生成
Agent评测，正在成为AI产品的新分水岭
这篇文章的核心判断是：Agent 评测正在从传统的上线前测试演变为一个生产系统的质量基础设施，其价值不在于输出一个综合分数，而在于构建一套能持续发现、定位、修复并防止错误复现的闭环体系。作者系统拆解了 Agent 评测与传统软件测试的本质差异——错误不是单点而是一条链，因此评测必须同时关注任务完成率、稳定性、过程合规性和业务结果四类指标，且不能混为一谈。文章还深入讨论了 Benchmark 与生产评测的区分、评测系统设计（规则+LLM Judge+人工分级）、Badcase 资产化、根因分析链路以及评测与研发流程的嵌入。适合正在落地 Agent 产品或构建 AI 评测体系的技术负责人、产品经理和 AI 架构师阅读，能帮助读者从“如何打分”转向“如何用评测驱动发布决策和质量改进”。原文 ↗
核心观点
- ▍Agent 评测不再是辅助工具，而是生产系统的一部分，其核心价值不是输出分数，而是构建一套从发现错误、根因定位到防止复发的闭环质量体系，最终服务于发布决策。
- ▍Agent 的竞争最终会围绕评测体系展开：谁能把失败变成可复现的质量资产，谁才更接近真正的生产级 Agent。
- 01Agent 的错误不是单点而是一条链，可能涉及意图识别错误、知识库检索错误、工具调用遗漏或执行顺序错误，甚至出现“结果像是对的，过程其实不对”的假阳性，传统软件测试无法覆盖。
- 02评测应区分四类问题：能力上限（任务完成率）、稳定性（连续成功率与波动）、过程合规（是否遵守不可被结果抵消的约束）和生产结果（转人工率、投诉率等业务指标），不能混为一个综合分。
- 03公开 Benchmark（如 SWE-bench Verified）只能回答通用能力水平，不能替代贴近自身业务的内部评测集，后者需覆盖高频任务、风险边界、历史事故和新上线工具。
- 04复杂 Agent 的一次完整评测可能需要多轮工具调用和隔离环境，实践上应采用分层筛查：每次变更跑 P0 用例，每日/夜间跑大规模回归，新模型上线前做多次试验，高风险场景增加人工抽检。
- 05Badcase 需要满足四个条件才能入库成为质量资产：有稳定证据、期望行为明确、能指向某个能力域或责任模块、经过脱敏和合规处理。
- 06有效的根因分析应基于 trace 先收集证据，再缩小范围，最后定责，需要稳定标签、聚类和明确的修复动作，而不是对全模块无差别排查。
- 07好的评测报告应说明问题出在哪里、证据是什么、评分器有多确定、影响哪个模块、下一步该由谁处理，而不是只告诉 pass/fail。
反方 / 局限
- — 作者承认，过程评测不能走向极端——如果正确过程写得过于死板，最后测到的不是能力，而是 Agent 是否模仿了测试作者的操作习惯。
- — 作者提到，LLM Judge 本身会漂移，会偏好某种表达风格和同系列模型答案，需要维护人工校准样本定期检查，且无法完全避免误判。
- — 文章隐含了一个前提假设：Agent 系统的行为是可复现、可追踪的。但在实际中，部分错误（如网络抖动、外部系统故障）可能无法复现，且 trace 的完备性依赖于系统设计，可能并非所有 Agent 都能产生足够完整的执行轨迹。
17 分钟 · 4 卡片 · 12 资料
读原文 →