6.5
深览指数
科技微博·机器之心Pro··AI 生成
动态投机解码不再局限于DSpark：LightSpec首个开源动态MTP系统实现
上海交大、北航与LightLLM团队联合开源了LightSpec，这是业内首个通用动态MTP（多Token预测）推理框架。其核心创新在于两阶段Training-free设计：无需额外训练专用置信度模型，通过运行时在线统计（EMA）动态联合优化验证预算与草稿预算，从而兼容DSpark、Eagle3等多种草稿模型。实验表明，在256并发、MTP=11下，相比固定步数，ShareGPT吞吐提升64%，验证行数降低3.2倍。该方案将动态MTP从特定模型的专属优化，升级为通用推理系统的基建能力，并已开源集成至LightLLM。原文 ↗
核心观点
- ▍LightSpec 是业内首个开源通用动态 MTP 推理框架，采用两阶段 Training-free 设计，无需额外训练即可兼容多种草稿模型，将动态 MTP 从特定模型优化升级为推理系统的基础能力。
- 01其核心创新是双层运行时规划器：第一阶段优化验证预算（动态决定送入主模型验证的 Token 数），第二阶段优化草稿预算（动态决定下一轮生成的草稿 Token 数），将草稿与验证成本统一纳入优化。
- 02与 DSpark 依赖预 Profile 的 SPS 曲线和额外训练置信度预测模型不同，LightSpec 直接利用推理系统运行时产生的 CUDA Graph 耗时统计与 EMA 接受率统计完成动态调度，无需额外训练。
- 03LightSpec 将调度与 Draft 架构解耦，通过分离验证预算与草稿预算，同时支持并行解码草稿模型（如 DSpark）和自回归草稿模型（如 Eagle3），并自然支持未来更复杂的树形草稿。
- 04系统实现了 CPU 调度与 GPU 执行的完全重叠：规划器基于历史统计提前决策，GPU 推理结束后仅按估计接受长度切割 Token，消除调度与执行之间的数据依赖。
- 05在 Qwen3-14B、H200、256 并发下，相比固定 MTP=11 步数，LightSpec 在 ShareGPT 上验证行数降低约 3.2 倍，吞吐提升 64%；在 HumanEval 上吞吐提升 39%，在 GSM8K 上提升 8.9%。
- 06固定 MTP 步数从 3 增至 11 时，接受率持续下降；LightSpec 的动态方案在 MTP=11 时，ShareGPT、HumanEval 和 GSM8K 的接受率分别提高约 43、29 和 19 个百分点。
反方 / 局限
- — 文章未提及该方案相比于需要训练的方法在极端冷启动或工作负载剧烈变化场景下的收敛速度与稳定性，也未讨论其在大规模分布式推理（如 TP>1、跨节点）中调度器开销可能带来的瓶颈。
LightSpecDSparkEagle3动态MTPLightLLM上海交通大学北京航空航天大学陈俊一白世豪汪再军龚睿昊Qwen3-14BH200ShareGPTHumanEvalGSM8KCUDA GraphEMA
10 分钟 · 4 卡片 · 12 资料
读原文 →