🔥 今日值得一读
扩散语言模型提速6.9倍！ORL同策略残差学习刷新速度质量帕累托前沿
On-Policy Residual Learning for Diffusion Language Models
👨💼 主理人解读 · 为什么值得关注
训练扩散语言模型时，用该在策略残差学习配方可更好利用残差上下文，改善速度-质量权衡。
📖 AI 总结
本文提出ORL框架，用于扩散语言模型中的在线策略残差学习。作者指出，残差上下文是释放扩散语言模型速度与质量帕累托前沿的关键，但如何有效学习残差上下文此前缺乏明确方案，其本质是在线策略问题。ORL通过实时学习模型自身产生的残差轨迹，并引入熵收缩目标，使预测随模型反复访问自身输出而逐步锐化；系统层面则通过异步残差捕获与传输、专用块扩散注意力及打包计算均衡训练实现规模化。在由Qwen3-4B转换的4B模型上，ORL将每次前向的token数提升最高6.2倍，端到端吞吐提升约6.9倍，质量相当或更优；在H100单请求服务中，其速度与质量帕累托前沿优于采用EAGLE3和DFlash推测解码的自回归模型，匹配精度下比DFlash快1.74倍。该方法还可迁移至LLaDA-2.1-mini和DiffusionGemma等现有模型，并以更少数据取得显著加速，结合量化后在单张B200上解码速度可达每秒5046个token。
🔑 关键词速览
| On-Policy Residual Learning (ORL) | 一种让扩散语言模型从自身生成的残差轨迹中实时学习的训练框架，强调学习过程与模型当前策略保持一致。 |
| Diffusion Language Models (DLMs) | 一类借鉴扩散生成思想、通过多步去噪过程逐步生成文本的语言模型。 |
| Residual Context | 在去噪步骤之间传递的预测分布信息，用于保留并利用历史预测以提升生成速度与质量。 |
| Tokens Per Forward (TPF) | 衡量模型单次前向计算平均生成 token 数量的效率指标，数值越高表示计算效率越高。 |
| Speculative Decoding | 一种通过小模型快速草拟、大模型并行验证来加速自回归文本生成的推理技术。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅