SVGD收敛速度新突破！指数级收敛+全程混沌传播，无需小步假设！
Quantitative Target Convergence and Uniform-in-Time Propagation of Chaos for Langevin-Regularized SVGD
📖 AI 总结
本文研究Langevin正则化Stein变分梯度下降（SVGD）方法的定量收敛性与均匀时间混沌传播。作者在Stein相互作用不必小于约束性Langevin漂移、且不产生收缩粒子耦合的一般条件下，建立了该方法向目标分布的定量收敛结果。在平均场层面，Stein和Langevin分量在核诱导的Stein几何与2-Wasserstein几何中耗散相同的相对熵，分别产生平方核Stein散度和相对Fisher信息，在目标满足对数Sobolev不等式时实现指数级最后迭代收敛。研究还推导了有限粒子熵恒等式，给出经验测度指数收敛至多项式采样误差。在混沌传播方面，作者提出同步耦合与移动乘积熵两种互补的有限时间方法，结合目标收敛的对数截断时间，获得经验KSD和Wasserstein距离的多项式均匀时间混沌传播速率。所有界均控制物理时间中的最后迭代，并比较了两种机制在不同参数区间内的优劣。
🔑 关键词速览
| Stein variational gradient descent (SVGD) | 一种基于Stein算子的变分推断方法，通过粒子更新逼近目标分布。 |
| Langevin-regularized | 在SVGD中引入Langevin动力学项，以增强探索性和收敛性。 |
| propagation of chaos | 描述粒子系统在粒子数趋于无穷时，其行为收敛于平均场极限的性质。 |
| kernel Stein discrepancy (KSD) | 衡量分布与目标分布差异的度量，基于核函数和Stein算子。 |
| log-Sobolev inequality | 一种函数不等式，用于控制相对熵与Fisher信息之间的关系，常用于证明指数收敛。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅