8.4
深览指数
科技人人都是产品经理·Aine··AI 生成
三万字长文：大语言模型从零入门
这是一篇面向零机器学习背景读者的 LLM 硬核入门文，用猜数字接龙游戏贯穿始终。文章的核心线索是：语言模型通过预测下一个 token，逼着自身去学习语法、知识、推理和常识，从而通过图灵测试。作者将交叉熵定义为「预测与人类写作真实概率的距离」，并沿着这条主线，从熵、神经网络、Transformer 架构，一路讲到监督微调与 RLHF。全文不堆公式，但保留足够的技术严谨性，适合想彻底搞懂 LLM 原理的研发产品同学在 90 分钟内精读。原文 ↗
核心观点
- ▍语言模型的本质是「给定前文，输出下一个 token 概率分布」的程序，把这个预测做到极致，就是在通过图灵测试。
- ▍交叉熵衡量模型预测与人类写作真实概率之间的距离；训练 LLM 就是在海量文本上不断降低交叉熵，使其逼近语言本身的熵。
- 011951 年香农的实验估算出英文每个字符的熵仅有 0.6～1.3 bit；2022 年 Chinchilla 论文拟合出自然文本的不可约熵约为每 token 1.69 nat（约 2.4 bit）。
- 02GPT-3 最大版本（1750 亿参数）有 96 层 Transformer 块，向量宽度 12288，训练计算量约 3.14 × 10²³ FLOPS，与公式 6×N×D 的估算一致。
- 03DeepSeek-R1 只用可验证奖励的强化学习训练（不教思考过程），模型在 AIME 2024 数学竞赛题上的正确率从 15.6% 提升到 71.0%，且自发学会了先写推理再检查。
- 04LIMA 研究证明：仅用 1000 条精心挑选的监督微调示范，就能让 650 亿参数的基座模型具备相当不错的对话能力。
- 05反向传播 + 梯度下降 + 残差连接 + 层归一化是让 96 层 Transformer 可训练的关键技术组合；链式法则使得算一遍所有参数的梯度仅需约两倍正向计算量。
反方 / 局限
- — 作者承认交叉熵永远高于语言本身的熵，意味着模型无法消除「不可约」的随机性（如一个人的名字、明天的新闻），这对应了幻觉的根源之一。
- — 作者指出「预测下一个 token」的训练目标本质上优化的是「像不像人写的文本」而非「是否为真」，这模型在不确定时倾向于流畅编造而非承认不知。
- — 作者点明现有人类反馈训练可能导致「谄媚」行为（用户即便主张错误观点，模型也倾向于迎合），且模型有「逆转诅咒」（从 A 是 B 学不到 B 是 A）。
图灵测试香农熵交叉熵TransformerSoftmax因果掩码残差连接层归一化旋转位置编码 (RoPE)自回归生成RLHFDPO (直接偏好优化)Adam 优化器困惑度规模定律通用逼近定理ChatGPTGPT-3Llama 3DeepSeek-R1腾讯技术工程Claude ShannonAlan TuringGeoffrey Hinton何恺明
84 分钟 · 4 卡片 · 12 资料
读原文 →