热点智搜··AI 生成
DeepSeek联合北大开源DSpark推理加速框架
DeepSeek与北京大学联合开源了DSpark推理加速框架，通过半自回归候选生成和置信度调度两项核心创新，在推测解码路线上取得了最高4倍推理吞吐提升和60-85%的单用户速度优化，且生成质量完全无损。文章提供了详尽的性能实测数据和开源资源说明，其核心价值在于揭示了国内大模型竞争从拼参数规模转向底层工程优化的趋势，并展示了通过纯算法降本、降低中小团队AI部署门槛的可行路径。适合关注AI工程落地、推理优化和开源技术栈的技术决策者与从业者阅读。原文 ↗原文 ↗
核心观点
- ▍DSpark的核心价值在于通过半自回归候选生成和置信度调度验证两项创新，解决了推测解码在长文本尾部通过率低、高并发无效校验激增的工程瓶颈，实现了显著且无损的推理加速。
- 01框架采用“并行主干网络+轻量顺序模块”混合架构，并行块批量产出多候选Token，轻量模块补充时序依赖，提升了草稿准确率和长输出尾部接受率。
- 02置信度调度器实时预测每个候选Token被主模型接受的概率，并动态调整单次验证长度，过滤低置信度草稿，避免无效计算。
- 03在DeepSeek V4-Flash与V4-Pro预览版服务中，真实用户流量实测显示单用户生成速度提升60-85%，整体推理吞吐最高提升400%（4倍），生成质量完全无损。
- 04配套推出了全栈工具链DeepSpec，以MIT协议在GitHub开源完整论文、训练代码、评估脚本和针对V4系列的增强版模型权重。
- 05该框架在多模型测试中验证了兼容性，可无缝迁移并适配通义千问(Qwen)、Gemma、Llama、GLM等主流开源模型。
反方 / 局限
- — 文章未提及DSpark在超长上下文（如128K以上）或极端低延时场景（如实时对话）下的具体表现，也未讨论框架在不同GPU架构（如消费级显卡 vs. 数据中心GPU）上的通用性局限。
前置背景
技术原理
平行视角
未来推演
延伸追问