🔥 今日值得一读
离散扩散模型16倍加速！8步生成困惑度最低，少步采样难题被攻克
Acceleration of Diffusion Language Model through Discrete Average Generator
👨💼 主理人解读 · 为什么值得关注
加速离散扩散语言模型的推理，用更少步数生成文本，降低推理成本。
📖 AI 总结
本文提出离散平均生成器（Discrete Average Generator），将连续空间中的MeanFlow方法推广至连续时间马尔可夫链（CTMCs），用于加速离散扩散模型与流匹配模型的少步生成。作者将平均生成器定义为时间区间内转移核的归一化增量，证明其满足自洽性恒等式，并据此构建训练目标，同时设计了与扩散语言模型标准训练范式兼容的训练策略。当投影到逐坐标边缘分布时，该自洽性恒等式具有闭式表达，支持高效训练与推理。实验显示，在Potts模型模拟中，该方法将K步采样器的总变差距离最多降低67%；在OpenWebText上，8至64步采样范围内取得所评估方法中最低的生成困惑度，并实现16倍加速；在ImageNet上也达到与现有方法相当的性能。该工作为离散状态空间的高效少步生成提供了新的理论框架与实用方案。
🔑 关键词速览
| 离散平均生成器 | 将连续空间中的平均速度场概念推广到离散状态空间，定义为时间区间上转移核的归一化增量。 |
| 连续时间马尔可夫链 (CTMC) | 状态空间离散且时间连续的马尔可夫过程，是离散扩散模型的理论基础。 |
| 自洽恒等式 | 平均生成器满足的一个恒等关系，为训练目标提供理论基础，确保生成过程的一致性。 |
| 总变差距离 | 衡量两个概率分布之间差异的指标，常用于评估生成模型采样分布与真实分布的接近程度。 |
| 生成困惑度 | 评估语言模型生成文本质量的指标，值越低表示模型对生成文本的预测越自信、质量越高。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅