6.5
深览指数
科技量子位·henry··AI 生成
别争了！香农老婆，才是世界上第一个大语言模型
文章以3Blue1Brown最新视频为引，重新审视香农夫妇在1950年前后进行的「猜字母」实验，将其解读为人类最早的next-token prediction。作者用香农的实验串联起整个论证链条：可预测性允许压缩，压缩的目的是提取信息（熵），而大语言模型的训练目标——最小化交叉熵损失——本质上等同于追求最优压缩。文章的核心观点是，智能至少包含「抓住世界可预测结构」的能力，而预测与压缩是一体两面。适合对信息论、LLM底层原理或科学史感兴趣的深度读者阅读。原文 ↗
核心观点
- ▍世界上最早的next-token prediction实验是香农夫妇在1950年前后进行的「猜字母」实验，香农妻子Betty是最早明牌做此事的「人脑语言模型」。
- ▍预测下一个token与压缩是同一枚硬币的两面：预测是找出「哪些部分可以不用写」，压缩是把不用写的内容删掉，剩下不可预测的部分就是「信息」。
- 01香农实验中，Betty猜对的地方香农画一条短横（可删除），猜错的地方才记下原字母；最终的转录版比原文短得多，但信息量不变，因为一个相同的Betty可以据此复原原文。
- 02香农后续在论文《Prediction and Entropy of Printed English》中改进了实验：系统记录受试者猜几次才能猜中下一个字母，以此测量人脑隐含的概率分布。
- 03理想的压缩算法压到极限时，输出应像随机噪声——每一位都独立，没有任何规律可以利用，代表已无冗余可删。
- 04香农信息量的公式 -log₂(p) 的直观理解：越容易预测的东西信息量越小，越难预测的信息量越大；它量化了「要区分一条消息至少需要多少bit」。
- 05以机器人四方向指令为例：如果四个方向等概率，固定2bit/指令；若方向频率不同，可通过变长编码（大概率短码、小概率长码）将平均码长从2bit降至1.75bit。
- 06语言熵是在给定前文后，下一个token平均还有多少不确定性；大模型训练中的交叉熵损失天然等于该不确定性的度量——模型给真实token的概率越高，编码它越省bit。
反方 / 局限
- — 作者明确指出「压缩不能粗暴地等同于智能」——ZIP很会压缩文件，但没人认为ZIP在思考。更谨慎的说法是：智能至少包含一种「抓住世界可预测结构」的能力。
- — 文章承认香农初版实验的天然局限：人不是机器，Betty两次面对同一段前文的猜测结果未必一致，因此无法精确测量语言的信息量。
香农贝蒂Grant Sanderson3Blue1BrownPrediction and Entropy of Printed Englishnext-token prediction信息熵交叉熵损失压缩
13 分钟 · 4 卡片 · 9 资料
读原文 →