该研究提出了一种将去噪扩散模型与马尔可夫链蒙特卡洛(MCMC)方法相结合的新框架,用于高维复杂目标密度的精确采样。核心发现是,通过标准去噪损失训练的扩散模型,其前向与反向扩散过程的顺序执行可构成一个马尔可夫链,在理想去噪器条件下具有目标平稳分布。研究者通过引入Metropolis-Hastings修正步骤,使该性质对任意去噪器均成立,从而保证了采样的精确性。他们提出的去噪扩散蒙特卡洛(DDMC)方法,将基于扩散模型的全局路径采样器与局部MALA采样器结合,实验表明该方法在多种复杂目标密度下能实现高接受率的全局提议。这一成果初步证明,标准扩散训练的可扩展性可直接迁移至高维非归一化密度的精确采样任务,为生成模型在统计计算中的应用提供了新途径。
| Denoising Diffusion | 一种生成模型,通过逐步添加噪声并学习去噪过程来生成数据。 |
| MCMC (Markov Chain Monte Carlo) | 一种通过构造马尔可夫链来从目标分布中采样的统计方法。 |
| Metropolis-Hastings | 一种MCMC算法,通过接受/拒绝机制确保采样链收敛到目标分布。 |
| MALA (Metropolis-Adjusted Langevin Algorithm) | 一种结合朗之万动力学和Metropolis-Hastings步骤的采样算法,用于高维分布。 |
| DDMC (Denoising Diffusion Monte Carlo) | 本文提出的方法,结合去噪扩散模型和MALA采样器,用于高维目标密度的全局采样。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅