8.0
深览指数
科技微博·机器之心Pro··AI 生成
ACL Outstanding Paper从token-level熵变揭示RLVR训练机制
一篇关于 RLVR（可验证奖励强化学习）训练中熵坍缩现象的深度学术解读。核心贡献在于将熵坍缩从宏观现象拆解到 token 级别的更新机制，提出了 token-level 熵变分析框架，并基于此设计了能够直接控制每个 token 熵变幅度的 STEER 方法。适合对 LLM 训练、强化学习算法细节有了解的研究人员或资深工程师阅读，可借此理解当前 RLVR 训练优化的前沿进展。原文 ↗
核心观点
- ▍RLVR训练中的熵坍缩（策略熵快速下降）并非不可控的训练现象，其本质是 token 级更新的累积结果，可以通过分析每次参数更新中每个 token 的熵变方向和幅度来理解和调控。
- 01作者推导了 token-level 熵变的近似表达式，指出决定熵变方向和幅度的四个因素：裁剪机制、优势信号、token 生成概率和条件熵。
- 02提出了基于 token 生成概率和优势信号的二维分类框架：高概率正样本（强化已知路径，降熵）、低概率正样本（保留罕见路径，升熵）、高概率负样本（释放概率空间，升熵）、低概率负样本（剪枝，降熵）。
- 03基于上述框架重新解释了现有方法（如 DAPO、Positive-Reweighting）为什么能部分缓解熵坍缩，以及为什么它们的效果是粗粒度和间接的。
- 04提出了 STEER 方法，直接使用每个 token 的熵变估计值来调节其训练权重，为熵变过大的 token 降权，而不是简单地在全局层面推高或拉低熵。
- 05实验表明，STEER 在 Qwen2.5-Math-7B 上平均分 48.6（GRPO 基线 44.2），在 Qwen2.5-Coder-14B 上代码编辑性能从 42.6 提升至 45.1，且在不同模型、算法上均有稳定收益。
反方 / 局限
- — 文章将熵稳定的方法聚焦于 token-level 的权重调整，但并未深入讨论当训练数据分布极度不均衡或奖励信号本身有偏差时，该方法是否会失效或需要额外的校准机制。
10 分钟 · 3 卡片 · 5 资料
读原文 →