6.5
深览指数
科技TechCrunch·Lauren Forristal··AI 生成
Discord 承认 AI 审核漏洞误将无害图像标记为有害内容导致逾 8000 用户被封禁
Discord 官方确认其 AI 审核系统存在漏洞，在两个月内错误地将超过 8000 个账号封禁，原因是系统将棋盘、表格、游戏纹理等无害图片错误地标记为有害内容。该问题自 5 月起持续影响用户，直至 7 月才被修复。此事件反映出 AI 辅助审核系统在大型平台上面临的误报挑战，并将社交平台在封禁流程中缺乏透明度与申诉渠道的问题再次推向台前。本文适合关心平台治理、AI 应用伦理及数字权利的用户阅读。原文 ↗
核心观点
- ▍Discord 的 AI 审核系统因一个 bug 在处理图片匹配时产生误报，直接绕过人工审核环节执行了封号操作，导致大量无辜用户受波及。
- 01Discord 官方承认，自 5 月以来已有超过 8000 个账号受到影响，并在 7 月初的一个周末内又有 200 个账号被封禁。
- 02被误判的图片包括电子表格、棋盘、游戏纹理以及白色和灰色透明背景图。
- 03用户和猜测认为，AI 系统的误判可能源于其将棋盘格等网格状图案，与曾被用于遮掩违禁内容（如 CSAM）的图像特征进行了相似度匹配。
- 04Discord 官方在 X 平台承认，系统的本意是自动匹配已知有害内容库，但相似度匹配本身会产生误报，且此次是一个 bug 导致系统跳过了人工审核环节直接执行封禁。
- 05报道提及，Instagram 和 Facebook 在 2025 年也曾遭遇疑似 AI 审核导致的大规模封号，Meta 的监督委员会正推动平台提高封禁流程的透明度。
反方 / 局限
- — 文章指出，AI 审核系统在识别非法和滥用内容方面是必要的，且 Discord 解释人工审核环节是标准流程——这暗示核心矛盾不在于是否使用 AI，而在于系统异常时缺乏有效的容错机制和用户申诉渠道。
10 分钟 · 3 卡片 · 8 资料
读原文 →