8.1
深览指数
科技Bestblogs·Elena Ericheva··AI 生成
AI 安全谱系：研究方向如何诞生与消亡（2005-2026）
基于 323 个事件、129 个参与者和 18 个研究方向的谱系分析，揭示了 AI 安全领域从 2005 年至 2026 年的演变脉络。核心发现是：该领域重心已从早期哲学思辨和独立研究所转向经验性技术安全与治理，并集中在 Anthropic 及各国安全研究所周围。一个关键错位是，可解释性研究获得的关注度远超其资金比例，而治理领域的资金则先行于论文产出。文章还指出，2023 年后资金机制从单一慈善家主导转向政府项目和风险股权，导致 2024 年新机构数量创纪录，领域呈现扩张而非整合。适合对 AI 安全、科技政策或研究领域演化感兴趣的深度读者。原文 ↗
核心观点
- ▍AI 安全领域并非线性发展；研究方向会诞生、被吸收或悄然消退，资金与关注度常常错位。
- ▍领域重心已从 2005-2016 年的哲学思辨和独立研究所，迁移至 2020 年代的经验性技术安全与治理，并集中于 Anthropic 及各国安全研究所。
- 01基于 323 个记录事件、129 个参与者和 18 个研究方向的谱系分析得出结论。
- 02可解释性获得的科学关注度是其资金比例所预测的约 37 倍，而治理领域的资金则先于论文发表。
- 03早期工作由 FHI 和 MIRI 等机构的宏观策略与智能体基础研究主导，但到 2020 年代，技术安全方向和治理成为主流。
- 042023 年后，资金机制从开放慈善（Open Philanthropy）等单一慈善家主导，转变为来自六个国家的政府资金以及安全初创公司的风险股权投资。
- 052024 年新成立的机构数量创下纪录，其中许多是专注于可解释性、评估和安全领域的窄领域专家，导致领域呈现扩张而非整合。
- 06一些方向（如 RLHF）被主流机器学习吸收，另一些（如智能体基础研究）逐步消退，而可解释性、评估和 AI 控制则在兴起。
反方 / 局限
- — 作者指出，arXiv 论文计数只是研究关注度的代理指标，可能存在偏差；事件计数反映的是收集密度，而非绝对重要性。
- — 分析中，安全初创公司的股权投资虽被单独计入，但其与赠款的性质不同，可能无法完全反映该领域的资金全貌。
AI 安全AI 对齐AI 治理可解释性评估RLHF智能体基础研究Anthropic英国 AISI美国 AISI (CAISI)FHIMIRI开放慈善 (Open Philanthropy)Elena Ericheva
4 分钟 · 3 卡片 · 8 资料
读原文 →