7.6
深览指数
科技人人都是产品经理·张艾拉··AI 生成
如果 ChatGPT 发现用户可能伤人，到底该不该报警？
OpenAI 因 ChatGPT 在加拿大校园枪击案发生前 8 个月已识别并封禁凶手账号，但判断风险未达「迫近且可信」标准而未报警，面临至少 37 起诉讼。文章以此为引，探讨 AI 对话产品面临的产品伦理边界问题：在发现用户的危险想法时，平台该在何时、以何种标准介入现实世界？作者指出，传统软件的责任模型不适用于深度理解用户的 AI，后者可能比任何人都更早发现危险信号，但过度介入会摧毁用户信任并引发误报风险。文章适合关注 AI 安全、产品伦理、公司治理的读者阅读。原文 ↗
核心观点
- ▍AI 对话产品因具备长期记忆和理解上下文的能力，比传统软件更可能先于人类发现用户的危险变化，这使其面临全新的产品伦理困境：何时应从「工具」转变为有义务介入现实的「责任主体」。
- 01OpenAI 在 2025 年 6 月通过自动安全系统发现一 ChatGPT 账户有与暴力活动相关的违规使用，经人工审核后封禁该账号，但判断风险未达到公司向执法部门报告的「迫近且可信」标准，因此未报警。
- 022026 年 2 月 10 日，加拿大 Tumbler Ridge 发生校园枪击案，造成 8 人死亡。枪击案发生后，OpenAI 主动联系加拿大皇家骑警并提供账户信息。
- 03Sam Altman 事后向当地社区道歉，承认 OpenAI 当时没有向执法部门报告该账户的判断错误。
- 04截至目前，围绕该事件 OpenAI 已面临至少 37 起诉讼。
- 05OpenAI 的安全流程为：一般违规平台自行处理，高风险进入人工审核，只有当聊天内容显示「迫近且可信」的现实伤害风险时才会通知执法部门，判断时会参考行为和心理健康专家的意见。
- 06AI 对话产品与社交平台不同，其对话是「私人房间」而非「公开广场」，且能连续数月观察用户情绪和意图的变化，因此能比很多人更早发现危险信号。
- 07误报风险极高：许多用户会讨论暴力内容的虚构场景（如写小说）、情绪宣泄或心理咨询，若简单以关键词触发报警，ChatGPT 将变成巨大的私人监控系统并摧毁用户信任。
反方 / 局限
- — 文章核心困境在于，「迫近且可信」这一标准在操作层面极难界定，Tumbler Ridge 事件恰恰证明了这一点——即使 OpenAI 有流程、有专家参与，仍然做出了错误的判断。
- — 文章提及但未深入讨论的风险是：即便不报警，封号这一操作本身可能让陷入危险状态的人失去一个无压力的表达渠道（如 AI 陪伴），反而可能恶化其心理状态。
8 分钟 · 4 卡片 · 10 资料
读原文 →