7.8
深览指数
科技Bestblogs·LMSYS Team··AI 生成
miniTE 技术报告：基于原生 NVFP4 的稳定高效强化学习
LMSYS 报告指出，原生 NVFP4 强化学习训练后期崩溃源于量化误差、激活缩放粒度、KV 缓存精度与框架执行差异的累积。作者提出 TRIAGE——按不匹配方向与梯度方向的一致性调整高风险 token 更新——并在 8×B300 上联合 Transformer Engine 实现逐 token NVFP4，学习器更新加速 1.33-1.37 倍、服务吞吐 1.64 倍。但报告坦承这仍不足以达到 BF16 级学习效果或端到端 RL 加速。适合关注低精度训练与 RL 系统实现的工程师精读。原文 ↗
核心观点
- ▍原生 NVFP4 强化学习的不稳定不是偶发 bug，而是训练-采样对数概率差距持续累积的结果，根源在量化误差、激活缩放粒度、KV 缓存精度与框架执行差异。
- ▍无需实现完美数值匹配，按量化不匹配方向与梯度方向的一致性来调整高风险 token 的策略更新（TRIAGE），即可稳定低精度 RL 训练。
- 01实验显示训练后期出现对数概率差距扩大、熵异常，数百步后奖励崩溃，且稠密模型比 MoE 模型更早失败。
- 02miniTE 将量化策略、线性层与计算后端分离，提供显式精度配方、选择性量化与确定性执行模式，使低精度计算路径可在现有工作流中替换评估。
- 03与 NVIDIA Transformer Engine 联合实现的逐 token NVFP4 采用连续布局、设备端元数据、amax 复用、分组 GEMM 与算子融合。
- 04在 8×B300 上，采用 BF16 反向传播的 miniTE 在完整学习器更新上实现 1.33-1.37 倍配对加速，固定输出服务测试吞吐量达 1.64 倍。
反方 / 局限
- — 报告明确承认，更低的不匹配与更快的本地计算尚不能保证 BF16 级别的学习效果，也无法确立端到端 RL 加速。
- — 权重转换/同步开销是端到端加速的残余瓶颈，算子对齐且平均不匹配降低后，学习结果仍对误差方向、局部结构、更新规则与同步敏感。
4 分钟 · 5 卡片 · 12 资料
读原文 →