科技量子位··AI 生成
极简方案刷新扩散模型推理纪录，阿里清华论文入选ICML杰出论文
阿里巴巴与清华大学合作的论文揭示了扩散语言模型（dLLM）在推理任务中的一个关键机制缺陷：允许模型任意顺序生成文本，会导致模型绕过不确定性高的逻辑节点（如“因此”“所以”），陷入“熵退化”，从而降低推理能力。基于此发现提出的“JustGRPO”方案，通过强制模型从左到右生成，在GSM8K等基准上显著超越所有现有为扩散模型设计的复杂强化学习算法。这项研究对当前热门的扩散模型路线提出了反直觉的挑战，并提供了一个极为简洁的修正方案。适合关注AI架构前沿、大模型推理能力与强化学习的读者深入阅读。原文 ↗原文 ↗
核心观点
- ▍论文首次质疑扩散大语言模型（dLLM）的核心优势——任意顺序生成，并提出其在通用推理任务中非但不是优势，反而因“熵退化”机制成为缺陷，降低了推理性能。
- 01不确定性高的关键逻辑节点（如“因此”“所以”）是推理分叉口；从左到右强制模型在此当场决策，而任意顺序下模型倾向于绕过这些难点，优先填充容易部分，导致推理路径被锁定。
- 02该团队提出的“JustGRPO”方案：在强化学习训练阶段放弃任意顺序，强制模型从左到右生成，仅使用标准的GRPO算法即可。
- 03在HumanEval代码生成任务上，从左往右顺序能解出、任意顺序解不出的题目占21.3%，反向仅0.6%。顺序自由度越大，推理性能越差。
- 04JustGRPO训练后在GSM8K上达到89.1%准确率，全面超越d1、ESPO、SPG、GDPO等所有为扩散模型专门设计的复杂强化学习算法。
- 05此前为dLLM设计强化学习面临生成顺序不固定导致无法归因各词贡献的难题，JustGRPO通过强制顺序从根本上绕开了这一问题。
- 06论文来自阿里与清华大学合作，入选AI顶会ICML 2026杰出论文（获奖率约千分之一）。
反方 / 局限
- — 文章未讨论JustGRPO可能存在的局限性，例如强制从左到右是否会丧失dLLM在某些任务（如文本续写、创意生成）上的灵活性优势。
前置背景
技术原理
平行视角
延伸追问