这篇论文针对扩散模型采样速度慢的问题,提出了一种新的加速方法。现有基于反射最大耦合的推测采样方法存在拓扑限制:其前瞻草稿只能构成链式图,即单一线性序列,这从根本上限制了每次目标函数评估的接受率。作者将扩散模型中的推测采样与相对熵编码(REC)建立联系,由此证明前瞻过程不必是线性的,进而提出“草稿树”这一核心贡献,使每轮可考察的候选状态更加丰富,从而减少目标函数评估次数。同时,作者采用贪心拒绝采样这一REC算法作为草稿与目标之间的耦合方式,在保证样本精确服从目标分布的前提下提升接受率。实验表明,在多种目标模型与草稿模型组合下,该方法相较反射耦合基线在实际场景中最高可实现8.3%的加速。
| 推测采样 | 一种通过廉价草案模型生成候选状态,再用目标模型校正以加速生成的方法。 |
| 扩散模型 | 一类通过逐步去噪从噪声中生成数据的生成模型。 |
| 相对熵编码 | 一种基于相对熵的编码方法,用于高效表示和采样。 |
| 草案树 | 本文提出的非线性的前瞻草案结构,以树形组织候选状态,提高接受率。 |
| 贪婪拒绝采样 | 一种相对熵编码算法,用作草案-目标耦合,提高接受率并保证精确采样。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅