8.0
深览指数
科技腾讯新闻·DeepTech深科技··AI 生成
AI黑箱要被AI破解了？前OpenAI研究员发现，90%的神经元功能可以解释
前OpenAI研究员、现Goodfire研究员Nick Cammarata发表长文，提出神经网络内部结构可能远比预想的更容易理解。他通过新分析方法和AI Agent发现，主流大语言模型中约90%的神经元有明确主导功能，推翻了此前“神经元功能杂乱难解”的主流判断。文章详细解释了过去被视为混乱的激活现象（如“猫脸与汽车前脸”神经元）实为对底层几何结构的响应，并展示了AI Agent如何自主提出假说、设计实验验证神经元功能。这项研究挑战了机制可解释性领域的“叠加”假说，但尚未经同行评议和独立复现。适合关注AI安全、模型对齐、可解释性研究的从业者与研究者阅读。原文 ↗
核心观点
- ▍神经网络内部结构可能远比过去认为的更容易理解，主流大语言模型中约90%的神经元有明确主导功能，这挑战了此前“叠加”假说所假设的大量无关概念混编码在一起的结论。
- ▍过去被视为混乱的神经元激活现象，可能源于观察工具的局限和研究人员对模型学习规律的误判，而非神经网络本身的杂乱。
- 01在对Qwen3-32B模型的初步审查中，Goodfire团队估算约90%的神经元响应方向对应明确的主导功能，约7%表现为两个高度相关的功能，仅2%-4%暂时无法找到清晰规律。
- 02经典案例“猫脸与汽车前脸”神经元的真实敏感特征是“尖锐且向外展开的V形几何结构”，而非同时编码了“猫”和“汽车”两个无关概念。
- 03采用残差连接等现代架构的ConvNeXt视觉网络，末层约99%的神经元功能清晰；而结构较老的InceptionV1神经元曾被普遍认为难以解释。
- 04在极端压缩实验中，将InceptionV1某层神经元数量从480个减少到10个后，神经元形成了对“连续曲线”“闭合环形”等更宽泛几何模式的响应，而非随机混合。
- 05AI Agent进行的盲测中，根据文字描述生成的测试文本激活强度甚至超过了从百亿Token语料库中筛选出的真实样本；在200个随机抽取神经元的测试中，76%的新生成正向样本引发了强烈激活，反例误激活率仅11%。
- 06在包括Kimi K3在内的万亿参数级模型中也观察到了类似神经元清晰度现象。
反方 / 局限
- — 该研究尚未经过正式同行评议和独立复现，对Qwen和Kimi等大模型的统计结果还有待更完整的技术论文支持。
- — 理解单个神经元的功能，距离还原整个模型的计算机制（尤其是复杂行为背后的因果关系及不同组件如何协同）仍有很长的路要走。
- — “叠加”假说也有相应的理论和实验证据，尚不能因这项研究就认定其已被推翻。
Nick CammarataOpenAIGoodfire机制可解释性叠加假说稀疏自编码器Qwen3-32BKimi K3InceptionV1ConvNeXtAI Agent递归泛化AnthropicGoogle DeepMind《麻省理工科技评论》
12 分钟 · 2 卡片 · 3 资料
读原文 →