首个精确并行控制方法ENCORE：不重训模型，实现扩散生成精准引导！
ENCORE: Exact Non-equilibrium COntrol with Replica Exchange for Diffusion Generation
📖 AI 总结
本文研究扩散生成模型在推理阶段的控制问题，目标是将预训练采样器的输出分布导向由可评估重加权函数定义的倾斜目标分布。现有方法分为两类：基于序贯蒙特卡洛的序贯退火控制虽然精确，但需要大量粒子；基于副本交换的并行退火控制则因依赖对难解时间反演的近似而存在偏差，目前尚无精确的并行控制方法。作者提出ENCORE，首个精确的并行控制方法。其核心思路是让每个副本保存完整生成轨迹，使向上移动转化为轨迹截断，从而完全避免模拟难解的时间反演，并证明了目标不变性。理论分析进一步表明，在无引导条件下，序贯与并行控制都会随时间离散化细化而不稳定，而带引导的提议则保持稳定，并可用于调节调度与计算预算。在合成目标、生物分子玻尔兹曼采样和图像生成任务上，ENCORE在精度与多样性上表现具有竞争力，对采样器扰动稳健，且适用于现有副本交换校正无法处理的蒸馏采样器。
🔑 关键词速览
| 推理时控制 (Inference-time control) | 在生成模型推理阶段引导其输出分布，而无需重新训练模型参数。 |
| 副本交换 (Replica Exchange, RE) | 一种并行退火方法，通过交换不同温度或不同分布下的副本状态来加速混合。 |
| 序贯蒙特卡洛 (Sequential Monte Carlo, SMC) | 一种基于粒子群和重采样的序贯重要性采样方法，用于逼近复杂分布。 |
| 时间反转 (Time reversal) | 在扩散模型中，指从生成过程反向恢复初始噪声分布所需的难以处理的变换。 |
| 玻尔兹曼采样 (Boltzmann sampling) | 从统计力学中的玻尔兹曼分布中采样，常用于生物分子构象的生成。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅