科技人人都是产品经理·叶小钗··AI 生成
Agent 评测全流程拆解：数据集、Worker、评分器、发布门禁
本文详细拆解了一套企业级 Agent 评测系统的技术实现与设计思路。核心贡献在于：将传统软件测试与 Agent 评测进行区分，提出任务、成功标准、执行证据三要素协作框架，并构建了数据集管理、独立 Worker 执行、多类型评分器（LLM评分、过程指标、过程评分、人工复核）组合、配置快照与基线比较的完整流水线。适合需要将 Agent 接入生产系统的技术负责人和测试架构师阅读。原文 ↗原文 ↗
核心观点
- ▍Agent 评测与传统软件测试的根本区别在于：传统测试侧重验证（检查是否符合明确预期，Bug可复现），Agent 评测更强调衡量（任务有多种合理完成方式，需评估质量、过程稳定性和成本）。
- ▍一套完整的 Agent 评测系统需围绕三要素（任务、成功标准、执行证据）构建协作机制，并将用例设计、执行、评分和回归整合进端到端流程。
- 01文章提出了两种过程评分策略用于检查工具调用过程：过程指标（代码统计，检查调用次数、重复调用率、无效步骤等）和过程评分（模型分析执行轨迹，判断工具选择、参数和恢复策略的合理性）。
- 02系统支持四种评分器：LLM评分（检查回答质量）、过程指标（代码统计）、过程评分（模型分析）、人工复核，可在用例内按权重组合，并支持设置一票否决的关键项。
- 03为了避免模型、提示词等变更导致历史结果无法解释，系统在创建评测任务时会保存配置快照，包括被测Agent与评测Agent的提示词、模型配置、评分器版本等信息。
- 04系统采用独立的 Worker（evaluation-worker）执行长任务，支持租约、心跳和失联处理，客户端关闭页面不影响服务端执行。
- 05系统支持基线比较功能，可对比两次评测结果，查看得分、通过率变化、新增/恢复/持续失败的用例，以及耗时和成本变化。
反方 / 局限
- — 配置快照能追溯,但外部模型服务、工具实现和知识库内容仍可能发生变化。对于需要高可复现性的场景，文章建议进一步记录环境条件，但这在实现中并未完整覆盖。
前置背景
平行视角
未来推演
延伸追问