不可逆Langevin新算法：约束采样误差指数衰减，调谐斜扰动实现加速！
Penalized Nonreversible Langevin for Constrained Sampling
📖 AI 总结
本文提出一类带惩罚项的非可逆Langevin算法，用于从紧凸集上的截断Gibbs分布中采样。算法将平方距离惩罚与常数或状态相关的斜对称扰动相结合，并保持惩罚后的Gibbs分布不变。针对光滑但可能非凸的目标函数，作者在对数Sobolev不等式下给出了全梯度算法的非渐近总变差界；在可用无偏随机梯度时，于适配的二次度量下建立了2-Wasserstein界。结果表明，固定惩罚参数时，算法相对于惩罚Gibbs分布的误差以指数速度衰减至步长的平方根邻域，同时作者也刻画了惩罚分布与约束目标分布之间的偏差。在二维二次模型中，通过将斜对称扰动调节至惩罚引起的曲率失衡，可实现非可逆加速，使满足精度要求的Euler迭代上界由曲率比的线性增长改善为对数增长。数值实验在约束贝叶斯回归、分类、神经网络及截断采样等任务上验证了算法效果。
🔑 关键词速览
| 不可逆 Langevin 算法 | 在标准 Langevin 动力学中加入斜对称扰动，使采样过程不可逆，从而可能加速收敛。 |
| 惩罚 Gibbs 分布 | 对约束采样问题引入平方距离惩罚后得到的无约束 Gibbs 分布，用于近似原约束目标分布。 |
| 对数 Sobolev 不等式 | 一种函数不等式，用于控制概率测度的集中性，常用来推导采样算法的非渐近收敛界。 |
| 2-Wasserstein 界 | 在 2-Wasserstein 距离下衡量算法分布与目标分布之间差异的收敛界。 |
| 斜对称扰动 | 在 Langevin 扩散中引入的反对称矩阵项，保持目标分布不变但破坏可逆性，从而可能加速混合。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅