学习变换+方差缩减，MCMC采样效率大突破！
Transformed Samplers with Variance Reduction
📖 AI 总结
本文研究马尔可夫链蒙特卡洛（MCMC）方法中控制变量导致的方差缩减问题。传统上，构造优良控制变量需要求解采样器的泊松方程，而该方程极少存在闭式解，仅在采样核于简单参考密度上具有已知谱分解时才能获得精确解。作者提出通过可学习的变量变换（如归一化流）将这一精确解推广至一般目标分布：训练一个双射使目标在潜空间中接近参考密度，并证明马尔可夫核及其泊松解在任意双射下具有变换性质。在潜空间中运行采样器即可得到显式控制变量，且估计量在映射与目标满足温和尾部条件下具有一致性。从流中进行重要性采样是该构造的极限情形，控制变量同样适用。在合成目标与真实后验上的实验将该方法与当前最先进的采样器及控制变量进行了比较。
🔑 关键词速览
| Markov chain Monte Carlo (MCMC) | 一种通过构建马尔可夫链从复杂概率分布中采样的算法，用于计算期望。 |
| Control variates | 一种方差缩减技术，通过利用已知期望的辅助变量来减少估计量的方差。 |
| Poisson equation | 在MCMC中，指与采样器核相关的方程，其解用于构造控制变量。 |
| Normalizing flow | 一种通过可逆变换将简单分布映射到复杂分布的概率模型，常用于变分推断和密度估计。 |
| Importance sampling (IS) | 一种蒙特卡洛方法，通过从提议分布中采样并加权来估计目标分布的期望。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅