7.0
深览指数
科技智东西·黄 菲··AI 生成
腾讯混元炼出Agent版RSI！基于Qwen3.8-27B，终端任务成功率翻倍
腾讯混元团队联合多所高校，提出终端智能体递归训练方法Terminal-RSI，以Qwen3.8-27B为基座模型，通过递归自我重写（RSR）与递归策略精炼（RPR）交替迭代，在五项基准测试中使终端任务平均成功率从20.68%提升至50.58%。方法核心是让Agent从成功操作轨迹中提炼经验，再经强化学习优化，类似RSI指标但针对AI智能体。论文坦诚了多个局限：极难任务改进停滞、长时程任务仅从0项增至5项、训练设置同时变化难以归因、仅单模型验证无统计显著断言。适合关注AI Agent、强化学习、大模型应用落地的技术从业者阅读。原文 ↗
核心观点
- ▍Terminal-RSI通过递归自我重写（RSR）与递归策略精炼（RPR）交替迭代的训练框架，可显著提升终端Agent在多项基准测试中的任务执行成功率。
- 01以Qwen3.8-27B为基座，经5个阶段训练后，Terminal-RSI-27B在Terminal-Bench 2.1上达到86.52%的成功率。
- 02在四项Terminal-Bench基准测试套件上，平均成功率从基座模型的20.68%提升至50.58%，提高29.90个百分点。
- 03在Terminal-Bench Hard上，成绩从基座模型的31.00%提升至79.00%。
- 04Rust-C求值器案例中，基座模型通过率为50%，经过完整递归训练后达到100%，解决了整数除法输出格式不一致的问题。
- 05成功优先奖励（SPR）将失败轨迹获得奖励的比例从50.09%降至28.72%，获得至少1分奖励的失败轨迹数量从158条降至0条。
- 06通过RSR提供经验证的示范轨迹，再进入RPR强化学习，在Terminal-Bench 2.1上得分为77.53%，远高于跳过RSR直接PPO的48.31%。
反方 / 局限
- — 极难任务的成功率呈波动变化，最高仅达10.98%，未随训练阶段持续改善。
- — 长时程任务LHTB中，严格完成任务的平均数量仅从0项增至5项（共46项），显示模型在复杂长链条任务上仍存在明显局限。
- — 论文承认，递归训练过程中模型初始化、奖励机制、学习率同时变化，无法明确判断最终成绩提升归因于哪一项具体机制。
- — 实验仅在单个27B参数模型上验证，三次独立评估取平均值不足以断言统计意义上的领先。
- — SWR100任务成功率在RPR-1阶段达到6.00%后停滞，表明递归训练对某些类型的通用工作流重建任务贡献有限。
Terminal-RSIQwen3.8-27B递归自我重写（RSR）递归策略精炼（RPR）腾讯混元阿里巴巴通义千问新加坡国立大学马里兰大学佐治亚大学印第安纳大学姚顺雨Terminal-BenchLHTBSWR100TB-GAE近端策略优化（PPO）家族密集奖励（FDR）成功优先奖励（SPR）
15 分钟 · 4 卡片 · 7 资料
读原文 →