7.9
深览指数
科技微博·机器之心Pro··AI 生成
神经网络可解释性被AI解决了？90%神经元只有一个功能
OpenAI 可解释团队创建人 Nick Cammarata 提出，神经网络内部的「多义性叠加」假说可能错误，Qwen3-32B 模型中 90% 的神经元只有一项主要工作。他认为，利用 AI 智能体工具（而非稀疏自编码器）可以直接研究大模型的「脑回路」，万亿参数模型也是几乎可读的。这为可解释性研究提供了新方向，但也意味着需要重新审视此前基于「叠加」假说的安全研究路线。适合关注 AI 安全、模型原理的从业者阅读。原文 ↗
核心观点
- ▍神经网络并非纠缠的结（多义性叠加假说可能错误），可以直接研究神经元自身，而无需先用第二个模型（如稀疏自编码器）「解开」它们。
- ▍OpenAI 可解释团队创建人 Nick Cammarata 提出，可解释性可能很快被解决，其「苦涩的教训」是：简单的观察、假设与检验，在足够大规模上，比设计精巧的拆解方法更有效。
- 01对 Qwen3-32B 的初步审查估计，约 90% 的神经元正、负「极」各自有一项主要工作，约 7% 有两项相关工作，约 2%–4% 尚未理解。
- 02经典案例 InceptionV1 中「既是猫脸又是汽车前脸」的神经元，实际共享「V 形」特征（与火焰、狐狸脸也相关），模型分类可能基于形状规律而非物体标签。
- 03Nick 提出「递归泛化」解释多义性：神经元从一个模式出发，沿语义相邻领地生长出新分支（如「iy」→「diy」→「do it yourself」），而非无关概念的随机混装。
- 04团队在 Kimi K3 上做出了已知首个万亿参数模型的归因图，展示「捡到钱包」问题中识别钱包、现金、证件并连通失物招领与诚实的推理路径。
- 05用新工具重审 GPT-2 XL，约 70% 的神经元已大致是「一回事」。
- 06AI 智能体通过设计反例验证解释：第一个智能体研究神经元并写下解释，第二个只根据解释生成预期强激活的新样本，部分样本的激活强度超过了从百亿 token 语料中找到的所有例子。
反方 / 局限
- — 作者明确指出这仍不是「可解释性已经解决」的宣言，注意力机制、完整模型审计，以及如何把理解转化为可靠的安全改进，都有大量工作待做。
- — 分类标准依赖激活阈值及「一项工作」的定义，90% 的数字存在主观性和不确定性。
6 分钟 · 5 卡片 · 10 资料
读原文 →