8.0
深览指数
产品Bestblogs·AI Engineer··AI 生成
构建让人保持判断力的 AI 系统，而不是只会点批准的流程
本文以 Duolingo English Test 的安全审核为案例，揭示了 human-in-the-loop 系统的关键问题不在模型或人员，而在于交互设计。当 AI 信号呈现得过于权威时，即使训练充分的审核员也会产生自动化偏差，接受约 50% 的假阳性作弊警报。通过将信号改为初步提醒并要求审核员独立寻找证据，团队将假信号拒绝率提升了 21 个百分点。作者由此提出一套普遍的产品与工程原则：AI 系统应被设计成交互闭环，通过暴露假设、让摩擦匹配风险、拆解决策步骤，使系统真正辅助而非替代人的判断。适合产品经理、AI 工程师及关注人机协作设计的读者阅读。原文 ↗
核心观点
- ▍human-in-the-loop 系统的效果不取决于模型精度或审核员水平，而取决于交互界面是否促使人独立核验证据，而非机械批准模型输出。
- 01Duolingo English Test 的安全审核中，即使审核员训练充分、校准表现很强，当界面将 AI 的复制输入信号呈现得过于权威时，他们仍会在约一半的合法历史场景中接受假阳性作弊警报。
- 02团队将 AI 信号重新表述为‘初步提醒’，并要求审核员在视频中找到独立证据，这一很小的交互改动使假信号拒绝率提升了 21 个百分点。
- 03作者将同一原则推广到监考、写作辅导和编码智能体，具体做法包括拆开隐藏决策、暴露假设、让摩擦匹配风险、捕捉 diff，以及将智能体设计为可审查的协作者。
- 04每次 AI 交互都会进入系统的反馈循环：用户的工作流行为会变成标签、评估和训练信号；结构差的批准会污染数据，而结构化分歧能帮助模型更准确地迭代。
反方 / 局限
- — 演讲并未讨论改变交互设计可能带来的新问题，例如增加审核时间、提升审核员疲劳度，或在紧急情况下因摩擦过高导致决策延迟。
4 分钟 · 4 卡片 · 7 资料
读原文 →