采样提速新突破！无Hessian算法收敛率碾压ULD，复杂度全面优化
Improved Analysis for Hessian-free High-resolution Monte Carlo Sampling
📖 AI 总结
本文针对机器学习采样问题中提出的Hessian-free高分辨率（HFHR）动力学，给出了更优的理论分析。作者在势函数非凸的一般条件下，基于位置Poincaré不等式、加权Hessian与Laplacian界及紧Sobolev嵌入，建立了HFHR动力学的显式定量收缩率，并通过构造时间增广Poincaré不等式，证明该收缩率优于欠阻尼Langevin动力学。此外，文章为HFHR蒙特卡洛算法提供了基于路径空间Girsanov变换的非渐近收敛界，给出了全变差距离下的显式迭代复杂度，该结果对所有参数成立且在ULD端点保持正则。优化复杂度后发现，有限精度下最优位置扩散参数为正且依赖精度，而高精度阶与ULD端点一致。整体上，该迭代复杂度改进了现有HFHR算法分析，数值实验（含真实数据贝叶斯学习）验证了正扩散参数的有效性。
🔑 关键词速览
| Hessian-free high-resolution (HFHR) dynamics | 一种无 Hessian 的高分辨率动力学，通过可逆位置扩散增强欠阻尼 Langevin 动力学，用于高效采样。 |
| underdamped Langevin dynamics (ULD) | 欠阻尼 Langevin 动力学，一种包含动量项的随机微分方程，用于马尔可夫链蒙特卡洛采样。 |
| Poincaré inequality | Poincaré 不等式，一种函数不等式，用于刻画概率测度的收缩性质，在采样收敛分析中常用。 |
| Girsanov argument | Girsanov 论证，一种通过测度变换来比较不同随机过程路径分布的方法，用于分析离散化误差。 |
| total variation distance | 总变差距离，一种衡量两个概率分布差异的度量，常用于评估采样算法的收敛性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅