科技Bestblogs·小红书技术REDtech··AI 生成
揭秘小红书自研稀疏训练引擎 SparseGear：面向搜广推模型 Scaling Up 的资源协同与 HBM-Friendly 架构
小红书自研稀疏训练引擎 SparseGear，针对搜广推模型序列长度破万、Dense 参数破百亿带来的稀疏参数供给带宽瓶颈与 HBM 显存争抢问题，通过 HBM-Friendly 多级存储、统一特征抽取平台、五维原生并行和 Agent 自动调优 sg-opt 四项设计，将稀疏参数穿透率降低 50% 以上，训练性能提升 20%~300%。文章给出了各模块的具体技术手段和线上收益数据，适合对大模型训练系统、推荐系统基础设施和性能优化感兴趣的工程师阅读。原文 ↗原文 ↗
核心观点
- ▍搜广推模型 Scaling Up 的核心瓶颈从算力转向了稀疏参数供给带宽与 HBM 容量争抢，SparseGear 通过重构稀疏参数的计算、存储与通信路径来同时缓解两者。
- ▍稀疏训练系统的优化不应只靠单点技术，而需要存储架构、特征复用、并行策略和自动调优四个模块协同设计。
- 01SparseGear 将 Pooling 特征分流至 CPU、实施自适应缓存规划、参数与状态独立缓存、Host 元数据下沉，使稀疏参数穿透率降低 50% 以上；在相同穿透率下稀疏参数 HBM 占用可降低 50%。
- 02统一特征抽取平台基于计算图把公共特征归入 Base 部分，各模型只补充增量 Exp Delta，使特征生产 CPU 消耗降低 40%，增量计算任务 CPU 消耗降低 50% 以上。
- 03SparseGear 基于 PyTorch DTensor 和 TorchTitan 原生支持 TP、CP、PP、DP、EP 五种并行方式及 Per Token EP，复用硬件厂商对 PyTorch 的适配成果以降低维护成本。
- 04Agent 自动调优系统 sg-opt 提供高低两级 Profile 定位瓶颈，结合状态机进行优化修改并做数值校验与性能测试，在多个业务模型上取得 20%~120% 的性能提升。
- 05sg-opt 一次业务优化中，基线单步耗时约 670 ms；Normal 模式累计 Token 费用约 9 美元、耗时降至约 356 ms（下降 47%），Ultra 模式约 34 美元、耗时降至约 309 ms（下降 54%）。
- 06SparseGear 已在多个业务场景取得 20%~300% 的训练性能收益。
反方 / 局限
- — 文章未披露收益数据的统计口径、基线模型规模与硬件配置，20%~300% 的区间跨度极大，难以判断不同业务场景下的收益差异来源。
- — sg-opt 的收益以 Token 费用换时间，Ultra 模式费用约为 Normal 的 3.8 倍仅多换 7 个百分点耗时下降，成本效益的拐点文章未讨论。
- — 五维并行依赖 PyTorch DTensor 与 TorchTitan 生态成熟度，文章未讨论在非 PyTorch 技术栈或异构硬件上的可迁移性。
概念锚点
前置背景
技术原理
平行视角
未来推演
延伸追问