7.4
深览指数
科技虎嗅·不懂经©··AI 生成
为什么顶尖的AI研究员,开始纷纷叛逃自己所在的公司?
本文综合《纽约杂志》等媒体报道与亲历者自述,揭示了OpenAI、Anthropic等顶级AI实验室中,研究员因“技术失控风险”与“对公司管理层信任破裂”而离职的深层原因。文章核心发现是:离职并非源于不认同AI价值,而是因为研究人员发现公司内部“为积累权力以便行善”的逻辑已形成闭环——无论未来是美好还是危险,结论都是必须加速研发、不能让别人领先。作者还深入到“谁有权定义善”、“道德债务”等政治哲学层面,呈现了技术精英的救世叙事与民主程序之间的张力。适合已具备AI技术基础认知、关注AI治理与科技伦理的读者。原文 ↗
核心观点
- ▍顶尖AI研究员离职的深层原因不是简单的职业倦怠,而是他们亲身参与后,对所在公司“为积累控制权以行善”的叙事逻辑产生了根本性信任破裂。
- ▍离职者的普遍困境是:他们承认技术存在灾难性风险,但公司无论基于“未来美好”还是“未来危险”的理由,最终的结论都是加速研发,这是无法内部化解的结构性矛盾。
- 01Anthropic的Jacob Coxon描述了一个内部逻辑闭环:“第一步,我不想参与。第二步,辞职。第三步,大概告诉大家。第四步,我完全不知道。” 他在与研发负责人谈话后,发现公司计划中已不指望外部监管,决定退出。
- 02前OpenAI员工Daniel Kokotajlo将公司路径概括为“道德债务”:“我们要积累大量权力,成为有分量的参与者,然后利用我们的权力和信誉去做好事。” 但累积权力的手段正是继续推动他们自己也承认危险的技术。
- 03David Robinson在《大西洋月刊》自述中批评OpenAI的“冲刺文化”: 先发布、再补防护,这种迭代方式在风险攀升后无法承担更大失败后果,公司日程仍然像开发软件。
- 04Anthropic的内部员工自称“蚂蚁”,组织高度一致,能调动善意变成步调一致的行动,即使谈论毁灭也可以很礼貌地挂断Zoom,但危险讨论并未改变公司前进速度。
- 05Anthropic秘密邀请几十位宗教思想家签署保密协议进行“道德塑造”,但与会者事后表示不清楚意见会如何影响决策。天主教作者Luke Burgis拒绝邀请,认为公司是在为已选定的方向寻求宗教信誉。
- 06离职者面临“公开批评自由”与“保留已归属股权”的交换,有人拒绝签署不贬损协议。
反方 / 局限
- — 离职者Kokotajlo本人也承认,自己持有的预测可能是错的,他真诚希望AI最后只是一种有经济价值的普通技术,自己的担忧五年后显得可笑。这揭示了反方视角:当下的担忧可能过于悲观。
- — 文章暗示但未展开的反方:公司加速研发的叙事在商业逻辑和竞争压力下有很强的现实合理性,离职者的“道德破产”判断是否过于简单?市场与监管本身的滞后又该如何被对待?
OpenAIAnthropicGoogle DeepMindJacob CoxonDaniel KokotajloDavid RobinsonEvan HubingerPamela MishkinMiles Brundage克里斯托弗·奥拉(Christopher Olah)J. Robert Oppenheimer彼得·蒂尔Claude Opus 4超对齐道德债务Resignation (辞职/认命)
15 分钟 · 4 卡片 · 12 资料
读原文 →