🔥 今日值得一读
扩散生成提速新突破！RASS验证规则让CIFAR-10增益达20%
Rank-Aware Speculative Sampling for Diffusion Draft Trees
👨💼 主理人解读 · 为什么值得关注
通过利用草稿候选的内在排序信息，减少目标模型评估次数，可加速扩散模型生成推理。
📖 AI 总结
本文提出了一种名为RASS（Rank-Aware Speculative Sampling）的验证规则，用于扩散模型中的推测性草稿树采样。现有方法D-GRS在每个节点生成K个条件独立候选并按生成顺序依次检验，但作者发现这些候选本身蕴含可利用的排序信息，无需额外调用目标模型即可获取。RASS依据提议分布与目标分布之间的均值位移对候选进行排序，并以最小化所选提议分布与目标分布之间全变差为目标优化排序权重，再通过最大耦合与残差校正保证精确采样。在高斯混合目标、FFHQ无条件像素生成、CIFAR-10条件生成以及基于Stable Diffusion 3.5和COCO2014提示的潜空间扩散等多项实验中，RASS在相同计算预算下均优于D-GRS，其中CIFAR-10上的目标模型评估次数减少约20%。该工作为扩散模型推理加速提供了一种更高效的树状验证思路。
🔑 关键词速览
| 投机采样 | 一种加速生成模型推理的技术，使用廉价草稿模型生成候选，再由目标模型并行验证，保持输出分布不变。 |
| 扩散草稿树 | 在扩散模型中，以树结构组织多个草稿候选，以更有效地利用并行计算预算进行验证。 |
| D-GRS | 扩散贪心拒绝采样，一种基于树的投机采样方法，每个节点生成K个独立候选并按顺序测试。 |
| RASS | 秩感知投机采样，本文提出的验证规则，基于秩感知列表耦合对草稿候选排序并优化选择。 |
| 总变差 | 衡量两个概率分布之间差异的度量，在RASS中用于优化秩权重以最小化所选提议与目标分布的差距。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅