8.6
深览指数
科技虎嗅·冷眸··AI 生成
性、AI与末日浩劫
本文通过研究员Jacob Coxon从Anthropic辞职并警告AI可能毁灭人类的事件，追溯了背后一个拥有25年历史的理性主义亚文化社群。作者详细描绘了该社群从创始人Eliezer Yudkowsky的“英勇责任”理念，到《哈利·波特与理性之道》同人小说，再到Scott Alexander的博客、Curtis Yarvin的新反动主义思想，以及有效利他主义运动的融合过程。文章揭示了该社群如何通过多边恋、心理工作坊、优生思想等组织实践，深刻影响了AI安全领域的定义、研究和政策方向，并提出了一个核心问题：当定义风险、制造模型、设计标准和资助研究的人都来自同一个紧密的社交网络时，如何建立可信的外部监督？适合关注AI治理、科技伦理及硅谷亚文化背景的深度读者阅读。原文 ↗
核心观点
- ▍AI末日论的警告者主要来自一个拥有25年历史的特定互联网亚文化——理性主义社群，其论辩、婚姻、恩怨与性取向已深度嵌入定义“AI安全”的机构肌理中，这给AI治理的可信度投下了阴影。
- ▍AI安全领域真正的问题是制度问题：当一小群人同时参与定义风险、制造最先进的模型、设计安全标准、资助研究机构，又可能进入评估机构和政策网络时，必须建立可信的外部监督，而非依赖任何一个社群的道德纯洁性。
- 012026年9月，Anthropic研究员Jacob Coxon在股权完全兑现前两个月辞职，发文警告AI可能在本世纪末消灭全人类，浏览量破亿。Anthropic对齐科学负责人Evan Hubinger随即证实，并评估十年内发生此事的概率高于十分之一。
- 02理性主义社群由Eliezer Yudkowsky在2000年创立，核心忧虑是“高能力人工智能或将追求不符合人类生存的目标”。其《序列》文章和LessWrong论坛作为人才吸纳通道，为“自命不凡、格格不入”的极客提供了归属感和使命感。
- 03Yudkowsky的《哈利·波特与理性之道》同人小说向整整一代极客灌输了“英雄式责任”的理念：整个世界都是你个人的责任，灾难出现时不能指望别人。
- 04理性主义与有效利他主义（EA）在2009年后融合。EA的“长期主义”逻辑与理性主义的AI末日论汇合，使AI风险成为旗舰议题。Skype联合创始人Jaan Tallinn和Open Philanthropy等向该领域投入了数亿美元。
- 05应用理性中心（CFAR）作为线下特许实体，将理论包装成“纠错”等心法。多名员工被实质性强迫接受心理干预，管理层承认滥用了权威，扭曲了学员的自我认知。
- 06社群内部衍生出暴力极端分子“齐兹派”，涉及多起命案。其理论养料——强硬决策论、自戕心理学、极端伦理和英勇责任论——无一不源自LessWrong。
- 07Peter Thiel是MIRI历史上最大的捐助者之一，同时也是反民主的新反动主义博主Curtis Yarvin的资助者。Yarvin的思想通过Thiel影响了JD Vance，Vance公开承认其立场受到Yarvin影响。
- 08AI安全评估机构METR在其年度报告中披露，员工与被评估商业公司的多位高层存在亲密私人伴侣关系，并承认初期利益冲突回避机制漏洞。
反方 / 局限
- — 作者承认，Coxon的警告也可能是真诚的，作者本人对Coxon的神话也抱有怀疑，认为其股权兑现前裸辞的情节编排过于完美，不能完全排除通过离岸账户对冲补偿的可能。
- — 作者指出，AI灭绝警告可能被用作制度性监管俘获的工具，通过设立高成本合规牌照，使巨头能够承受而颠覆性挑战者将被窒息，从而巩固现有实验室的护城河。
Jacob CoxonEliezer YudkowskyAnthropicOpenAIMIRI (机器智能研究所)LessWrongCFAR (应用理性中心)有效利他主义 (EA)Peter ThielJD VanceCurtis YarvinScott AlexanderNick BostromSam Bankman-Fried齐兹派 (Zizians)《哈利·波特与理性之道》AI安全长期主义 (Longtermism)新反动主义 (NRx)
48 分钟 · 5 卡片 · 11 资料
读原文 →