7.0
深览指数
科技微博·机器之心Pro··AI 生成
ISSTA 2026｜LAVE：面向扩散语言模型的约束解码
提出了一种名为 LAVE 的约束解码方法，专门解决扩散语言模型在生成代码、JSON 等形式语言时语法错误率高的问题。核心思路是“前瞻补全+语法验证”：利用模型并行预测的概率，对中间输出的 [MASK] 位置进行高概率采样补全，再通过语法解析器验证补全后的前缀是否仍可扩展，以此决定是否接受新生成的 token。实验表明，该方法在多个模型和任务上几乎将语法正确率提升至 100%，且在推理效率上仅有少量开销。适合对 LLM 推理、代码生成、以及非自回归语言模型架构感兴趣的读者阅读。原文 ↗
核心观点
- ▍扩散语言模型在形式语言生成任务中语法错误率高，论文提出的 LAVE 方法通过「前瞻补全+语法验证」，能有效解决这一问题，将语法正确率提升至接近 100%。
- 01初步实验显示，流行扩散语言模型 Dream-7B 在 HumanEval-CPP 上的语法错误率高达 23.8%，表明现有模型难以稳定生成符合语法约束的输出。
- 02LAVE 的核心思想是 Lookahead-then-Verify：利用模型一次前向传播给出的所有 [MASK] 位置概率分布，进行高概率采样补全，再使用 Earley Parser 等语法解析器并行验证补全后的前缀是否可扩展。
- 03在 LLaDA-8B、LLaDA-1.5、Dream-7B 和 DiffuCoder-7B 四个模型、C++、JAVA、GO、JSON 和 SMILES 五项任务上，LAVE 均使平均语法正确率接近 100%。
- 04在 Dream-7B 的 C++ 功能正确率上，LAVE 从 25.6% 提升至 33.5%。
- 05在推理效率上，LAVE 在 JSON 任务上平均推理时间仅增加约 3%；在 SMILES 任务中，因减少了无关自然语言生成，推理时间反而下降。
- 06该研究由清华大学人工智能学院 AI Agent 课题组完成，论文已被软件工程顶会 ISSTA 2026 接收，代码已开源。
反方 / 局限
- — LAVE 依赖上下文无关文法（CFG）来描述语法，对于无法用 CFG 描述的复杂语法（如部分类型系统或语义约束），该方法可能无法直接适用或需要额外处理。
- — 前瞻补全阶段依赖于模型预测的概率分布，若模型本身预测概率严重偏离真实分布，采样出的补全可能全是无效的，导致验证反复失败，增加推理代价。
- — 论文未披露在极大词汇表或极长序列场景下，前瞻补全采样与验证的并行效率是否仍能保持“较低开销”。
6 分钟 · 5 卡片 · 11 资料
读原文 →