7.2
深览指数
科技腾讯新闻··AI 生成

OpenAI前研究员:我们正在“造神”,AI毁灭人类不是定局

得克萨斯大学计算机科学教授、量子计算理论家斯科特·阿伦森回顾自己在OpenAI对齐团队两年的经历,提出AI文本水印方案。他判断AI已开始参与纯数学与理论计算机科学的前沿研究(如证伪单位距离猜想),认为人类灭绝并非必然但确为可能结果。访谈还追问超级智能创造的物质财富最终由谁分享,以及人类在AI全面超越后如何重新理解工作、教育与生活的意义。原文 ↗

核心观点
  • ▍AI真正令人担忧的地方不是它不起作用,而是它确实在发挥作用——能力越强,人类越难预测其行为,也越难确保它始终符合人类意愿。
  • ▍人类灭绝不是AI发展的必然结果,但确实是一种不能忽视的可能性;关键变量在于能否在AI对齐问题上取得突破,以及技术创造的财富最终由谁分享。
  1. 01阿伦森在OpenAI期间最具体的成果是提出早期大语言模型文本水印方案:通过伪随机函数微调token采样倾向,嵌入统计信号,检测时只需密钥即可计算水印得分,误判概率可低于0.1%。
  2. 02目前谷歌DeepMind和Anthropic已部署与阿伦森思路相近的水印技术,OpenAI尚未采用;Pangram采用的是训练专用神经网络区分的另一技术路线。
  3. 03AI已开始进入科研核心环节:OpenAI模型证伪了保罗·埃尔德什留下的单位距离猜想,Anthropic模型在黎曼假设相关研究上取得推进,阿伦森本人关注的量子计算问题也有模型给出解法。
  4. 04阿伦森称自己阅读的量子计算新论文中,至少一半在过去一个月提到研究者使用GPT或Claude完成了部分技术工作。
  5. 05深度学习的关键思想在20世纪40-80年代已出现,真正突破在于计算能力和数据规模增长了数百万倍,Transformer架构(2017年谷歌提出)加速了这一进程。
  6. 06伊利亚·苏茨克维曾要求阿伦森用数学定义AI对人类的爱,阿伦森至今没有答案,他指出这一问题是否属于数学范畴本身就存在疑问。
反方 / 局限
  • — 阿伦森承认自己在预测AI规模扩展影响和比特币普及等问题上判断并不敏锐,本次水印判断只是提前约半年看到了学生用AI写作业的问题。
  • — 水印技术面临隐私与部署阻力:第二种检测方法需要AI公司记录所有生成文本以供查询,这引发隐私问题,也很难让所有人接受。
  • — 阿伦森对AI能力的边界并未给出确定答案,他指出目前没有人能清楚说明能力上限在哪里,主张存在明确上限的人需要拿出证据,但反过来说这也意味着边界不可知。
18 分钟 · 6 卡片 · 9 资料
读原文 →

概念锚点

前置背景

技术原理

平行视角

未来推演

延伸追问