7.8
深览指数
科技Bestblogs·小红书技术REDtech··AI 生成
训练中自己生成的 Rollout，模型还能学到什么？小红书 AllSpark 提出 ROSS
小红书 AllSpark 团队提出 ROSS 方法，通过结果验证、LLM 审核器筛选、掩码 SFT 三步，让模型从训练中生成但被丢弃的历史 rollout 中重新学习有效行为。在数学推理、代码生成、多教师蒸馏及长程 Agent 场景中均取得显著增益。核心发现是：权重（checkpoint）与行为经验（rollout）是两种可独立复用的训练积累，历史轨迹中包含了模型曾探索到却未稳定掌握的有效行为，可以通过选择性再学习固化为能力。适合关注 LLM 后训练技术、强化学习与 AI Agent 的研究者阅读。原文 ↗
核心观点
- ▍历史 rollout 并非过期废料，而是一种可复用的训练资产，通过选择性再学习可将模型曾探索到却未稳定掌握的有效行为固化为能力。
- 01实验显示最终模型对历史曾解决的难题单次成功率仅 37.7%（pass@1），但 pass@32 达 99%，说明正确解法仍在分布中但不可靠。
- 02ROSS 流程为：1) 任务验证器筛选成功轨迹；2) LLM Judge（GLM-5.2）定位可学习片段，排除错误判断、冗余探索；3) 保留完整上下文，仅对选中 token 计算损失进行 SFT。
- 03消融实验显示：MOPD 中轨迹筛选仅带来 0.79pp 提升，加上 token 级掩码再增 3.71pp，证明细粒度过滤是性能提升的关键。
- 04从 Base（训练前模型）出发用 ROSS 学习历史 rollout，最终成绩与从 Upstream（训练后模型）出发相当，验证了行为经验可跨 Checkpoint 迁移。
- 05在单轮 RL（数学 +1.79pp，代码 +2.12pp）、多教师蒸馏（MOPD +3.80pp）、长程 Agent（SWE-bench +4.20pp）三大后训练范式中均获增益。
- 06策略熵下降并未使排除率归零，说明成功轨迹内部始终混杂错误与绕路行为，需细粒度过滤。
反方 / 局限
- — ROSS 依赖额外的 LLM Judge（GLM-5.2）进行片段审核，引入了新的计算开销和模型依赖，其审核质量会直接影响最终效果。
- — 实验基于特定模型架构（Qwen3.6-35B-A3B）和场景验证，是否能泛化到更大规模模型或更多样化的任务（如多模态、对话生成）尚待验证。
4 分钟 · 4 卡片 · 10 资料
读原文 →