7.1
深览指数
科技Bestblogs·青稞AI··AI 生成
前 EAGLE Team 成员自述 EAGLE-4 的设计，以及背后的工程取舍！
前 EAGLE 团队成员复盘 EAGLE-4 的设计：EAGLE-Harness 依据 draft 成本与置信度动态构建草稿树并支持早停；Efficient LM Head 将全词表打分拆为低秩筛选加完整 head 复算两阶段，在几乎不损失接受长度下大幅降算力。作者还交代了 Freq-aware SVD 的 training-free 方案与基于 Local Top-k 的高效变体，以及 EAGLE-3.1 中 FC Norm 与 Post-norm 的归一化改动。适合做 LLM 推理加速、投机采样工程落地的读者参考。原文 ↗
核心观点
- ▍EAGLE-4 的核心设计不是单一算法突破，而是围绕「draft 成本 vs 接受长度」做系统级工程取舍：用动态 draft tree 和两阶段 LM Head 在推理延迟与接受率之间找平衡。
- ▍Efficient LM Head 的两阶段方案——先用低秩 head 对全词表粗筛，再仅对候选 token 用完整 head 精算 logits——是当时唯一能在几乎不损失接受长度下显著降低算力的配置。
- 01EAGLE-Harness 根据 draft 的成本、置信度和 target 反馈动态构建与剪枝 draft tree，并支持早停：当预计收益不足以覆盖计算开销时提前终止 draft。
- 02把词表从 32000 恢复到全词表，接受长度可提升约 1，作者称这在当时测试中是非常明显的提升。
- 03早期 training-free 方案 Freq-aware SVD 通过考虑 token 频率来截断 LM Head 的秩，无需额外训练即可获得近似低秩 head，当时取得了不错的性能。
- 04EAGLE-3.1 引入 FC Norm 和 Post-norm 归一化改动，用于稳定 draft 模型训练与推理表现。
- 05作者指出该思路在当下已不稀奇，2026 年 2 月的 SpecVocab 提出了计算流程几乎一样的方法。
反方 / 局限
- — 两阶段低秩筛选加完整 head 复算的方案存在候选截断风险：低秩 head 筛掉的 token 无法被完整 head 找回，筛选取舍直接决定接受长度上限，文章未给出漏筛率的系统评估。
- — EAGLE-Harness 的动态剪枝与早停依赖成本与置信度估计的准确性，这些超参数在不同模型和硬件上的可迁移性文章未展开。
- — 作者自认该思路已不稀奇、SpecVocab 几乎同期提出相同流程，说明文章的创新边际有限，更多是工程复盘而非新方法首发。
EAGLE-4EAGLE-HarnessEfficient LM HeadFreq-aware SVDLocal Top-kFC NormPost-normSpecVocabSGLangvLLMEAGLE Team青稞AI投机采样
3 分钟 · 5 卡片 · 9 资料
读原文 →