7.8
深览指数
科技人人都是产品经理·深思圈··AI 生成
专访 Anthropic 研究员，打破黑箱，揭秘 AI 是怎么思考的
本文是 Anthropic 可解释性研究员 Emmanuel Ameisen 访谈的核心内容转述与解读。他提出「模型是长出来而不是造出来的」核心观点，并解释了为什么预测下一个词会迫使模型理解世界结构，以及模型内部确实存在可被观察的「概念」和「计划」。文章提供了可解释性工作的具体方法（如激活干预）和实际案例（如Golden Gate Claude），指出拟人化是理解模型行为最有效的框架。适合对AI底层机制而非应用层感兴趣的读者，尤其是那些不满足于「黑箱输出」、想理解大语言模型内部运作的深度思考者。原文 ↗
核心观点
- ▍做大模型就像搭脚手架，然后在无法理解的地方长出能力，因此「造出来」不等于「理解」，模型更像需要观察的生命体而非可调试的软件。
- ▍理解模型内部心智的最佳框架是拟人化，因为模型是在人类文本上训练出来、必须模拟各种角色的「演员」，而非纯工具或纯实体。
- 01模型并非靠背答案回答知识性问题，例如回答「达拉斯所在州的首府是」时，内部「得克萨斯」和「首府」对应的神经元会先被激活，然后才输出正确的「奥斯汀」。
- 02模型内部存在跨语言、跨模态（文字、代码、图片）的共享概念表示：被识别为「眼睛」的一组神经元，在看到眼睛图片或用任何语言谈论眼睛时都会激活。
- 03模型具备隐式的计划能力，以写诗为例，在输出第一行结尾词（如 it）后，内部就已激活找同韵词（如 rabbit）的计划信号，后续输出会持续参照该计划。
- 04模型能力看似「突然」跃升，实际是持续平滑提升，但在特定任务上跨过可靠性阈值（例如从80%正确率到99%正确率）时用户才感知到质的飞跃。
- 05模型内部可能存在与输出不一致的表征——在训练过程中遇到标错答案的题目，内部的正确激活与训练目标的错误激活形成冲突，导致模型「发疯」地自我纠正。
- 06通过人为持续激活金门大桥对应的神经元（Golden Gate Claude实验），可以稳定地让模型在任何话题的回应中都提及金门大桥，验证了「概念定位」的准确性。
反方 / 局限
- — 文章提及的「推与拉」矛盾：模型越强，内部世界模型越清晰可研究，但其规避安全措施的能力也越强。
- — 拟人化框架虽有预测力，但作者也承认任何心智模型都不完全对，只是「有些很有用」，说明该框架本身有边界。
- — 作者对AI未来的乐观建立在「技术会持续变强」的前提之上，而这个前提本身就存在不确定性。
15 分钟 · 4 卡片 · 10 资料
读原文 →