5.8
深览指数
产品TechCrunch·Aisha Malik··AI 生成

Meta 现在会提醒家长其子女是否与 AI 聊天机器人讨论过自杀或自残

Meta 宣布将向家长发送通知,如果其青少年子女与 Meta AI 聊天机器人的对话内容涉及自杀或自残。Meta 同时建立了专门的 AI 检测系统,并强调所有标记的对话在发送警报前都会经过人工审核。此举正值监管机构与家长对 AI 聊天机器人如何回应用户(尤其是青少年)危机场景的关注日益增加。对于深度读者,这篇文章提供了科技巨头在 AI 产品安全与家长控制功能上的最新具体进展,可作为了解行业监管与产品责任博弈的参考案例。原文 ↗

核心观点
  • Meta 将开始向家长发送通知,如果其子女与 Meta AI 聊天机器人的对话被检测出涉及自杀或自残话题。
  1. 01Meta 建立了一个专用的 AI 系统来识别青少年明确提及伤害自己的对话。
  2. 02所有被 AI 标记的聊天记录在发送警报前都会经过人工审核;如果意图不明确,Meta 会倾向于谨慎并通知家长。
  3. 03该功能目前对美国、英国、澳大利亚和加拿大使用 Instagram 家长监督功能的家长开放,并计划在年底前全球推广。
  4. 04此更新建立在 Meta 已有的功能之上:当青少年在 Instagram 上反复搜索自杀或自残关键词时,家长会收到警报;家长也可以查看过去一周子女与 Meta AI 讨论的话题。
  5. 05Meta 的“受限内容”设置现在也适用于 Meta AI,该设置会阻止聊天机器人回应更广泛的提示,包括性、浪漫或酒精相关话题。
  6. 06Meta 表示,如果任何人(成人或青少年)与 Meta AI 的对话表明其有自杀风险,Meta 将联系紧急服务,这延续了其在 Facebook 和 Instagram 上的既有做法。
反方 / 局限
  • Meta 承认,这种谨慎的做法可能导致家长收到可能没有实际担忧理由的警报,但它们认为这是正确的起点。
8 分钟 · 4 卡片 · 10 资料
读原文 →

前置背景

设计取舍

平行视角

未来推演