推荐系统领域早就踩过类似的坑：离线 AUC 大涨但线上 CTR 不动的根源集中在四个方向——离在线特征不一致（代码/口径/时间窗口裂开）、数据泄露（训练数据混入未来信息）、数据分布漂移（线上分布与评测集完全不同）、以及指标本身不匹配。阿里云开发者社区总结的典型案例是：离线 AUC 0.75、线上 AUC 0.62，查到最后是离线用全量曝光算点击率，在线只统计近 7 天。这些经验完全适用于 NLP 产品——评测集 92 分上线被骂，根因大概率落在后三个上。

与「从产品经理脑洞构评测集」的惯性相反，智能购车问答项目给出了一套「七步从 0 搭测试集」的方法论：先收集线上真实日志，从中聚类、抽样高频场景，再以此为锚点设计样本。关键洞察是——高决策成本场景（如购车）里，模型的「答得顺」不等于「答得对」，一条「适合三口之家」的回答必须绑空间数据、安全配置，不能只靠语义流畅打分。这套逻辑直接回应了正文「用户分布自己长出来」的论点，但提供了更结构化的落地路径。

比模型漂移更隐蔽的是「行为漂移」——系统、模型和人类协同进化带来的预期偏差。CIO 视角下，欧洲 AI Act 和 NIST 框架已要求企业持续监控准确性/偏见/行为变化，偏差监控从锦上添花变成合规刚需。大众点评 2025 年引入 AI 智能体审核 AIGC 评价（年处置 1161 万条），本质是用「物理世界信息底座」校准线上行为。对 AI 产品团队而言，未来评估体系需要从「静态评测集 → 动态行为基线 → 合规可解释」三级演进。

正文提到「时间会让一切漂」，但没展开具体怎么应对。模型漂移（Model Drift）的两副面孔——数据漂移（用户问法变了）和概念漂移（正确答案的标准本身变了）——会导致评测集过时且不被察觉。2025 年业界已有可落地的监控方案：在 PSI>0.1 时自动触发重训练流水线，冻结主干只微调检测头可节省 70% 资源。但最棘手的并非技术，而是组织问题：多数团队「评测集两年没人动」，漂移检测落地需要的不仅是看板，更是每周的日志回标与回归机制。