7.5
深览指数
产品人人都是产品经理·Miss卓卓··AI 生成
当我们说AI评测时，到底在评什么？
本文是一位AI产品经理基于客服会话AI评测实战的认知升级记录，核心结论是：AI评测不是执行动作，而是一套由五个层层递进的问题构成的策略体系——测什么（方案设计）、用什么维度测（维度拆解）、谁来测（角色分工）、结论怎么用（解读与迭代）、长期怎么跑（例行化运营）。区别于常见的工具和流程罗列，作者提供了从“手搓工作流”到“体系化运营”的完整演进路径，并给出了具体的三层过滤框架和资源错配避坑指南。适合正在搭建或优化AI评测体系的PM、算法工程师阅读，能快速建立策略思维而非执行视角。原文 ↗
核心观点
- ▍AI评测不是「找几个工具、标一批数据、跑一个分数」，而是一个从方案设计到例行化运营的策略体系，核心是回答五个层层递进的问题：测什么、用什么维度、谁来评、结论怎么用、长期怎么跑。
- 01作者将评测方案设计抽象为「三层过滤」：第一层看产品阶段（技术验证期/上线运营期/成熟发展期），第二层看核心使用场景，第三层看用户最不能接受的致命问题，最终输出一个加权优先级矩阵。
- 02作者提出了评测角色分工矩阵，区分了领域专家、AI产品经理、普通用户和算法工程师在评测不同维度（如正确性、流畅度、安全性）上的角色，并指出「让领域专家去评流畅度」是资源错配。
- 03作者通过一个真实案例说明：第一版工作流用单一模型做二分类，与人工一致率仅67%；拆成准确性、友好度、效率三个子维度后，一致率提升至84%，核心教训是「不是评分工具的问题，是评测维度设计的问题」。
- 04文章将评测的长期运营分为三个阶段：快速验证（1-2周，200-500条/维度）、回归验证（1-2月，建立基准库）、例行化运营（持续，自动化流水线+bad case闭环+季度校准）。
- 05作者所在公司的评测体系经历了三个阶段：各自为战期（依赖第三方标注）、体系觉醒期（自研系统，形成完整链路）、自动化升级期（启动Rubric自动化评测，解决效率瓶颈和人工波动性问题）。
反方 / 局限
- — 文章主要基于客服会话评测这一具体场景，其提出的「三层过滤框架」和「角色分工矩阵」在通用对话AI、内容生成AI等场景中的适用性需要读者自行评估，作者未展开讨论框架的跨场景迁移成本。
- — 文章强调「自动化做筛选，人工做终审」，但未详细讨论自动化评测本身的缺陷（如对语义理解偏差、偏见放大、长尾case覆盖不足）如何与人工终审耦合，对自动化评测可靠性边界缺乏足够警示。
11 分钟 · 4 卡片 · 9 资料
读原文 →