仅凭曲率界无法保证GVI加速！新研究揭示需κ^{1-o(1)}次查询，但Hessian-Lipschitz下可加速。
Acceleration and its Limits in Gaussian Variational Inference
📖 AI 总结
这篇论文研究动量加速方法能否从经典凸优化推广到高斯变分推断（GVI）。作者发现，在精确高斯期望下，GVI的凸复合形式确实能达到经典的√κ加速收敛率；但当只能获取逐点导数时，情况发生根本变化——他们构造了一类强对数凹目标分布，证明任何随机算法都需要κ^{1-o(1)}次查询才能达到固定精度，即使初始目标间隙与κ无关。这表明仅靠曲率界无法保证统一的加速查询复杂度。论文随后探讨何种额外结构可实现加速，给出正面结果：在Hessian-Lipschitz假设下，当Hessian变化足够小时，方差缩减随机方法可获得加速保证。真实数据集实验也显示加速在多种方法上带来显著的实际速度提升。
🔑 关键词速览
| Gaussian Variational Inference (GVI) | 一种变分推断方法，用高斯分布近似后验分布，通过优化证据下界来学习参数。 |
| Strong Log-Concavity | 目标分布的对数密度函数是强凹的，即其负对数具有强凸性，保证分布尾部快速衰减。 |
| Condition Number (κ) | 衡量优化问题难度的指标，通常为强凸参数与光滑参数之比，条件数越大问题越病态。 |
| Hessian-Lipschitz | 目标函数的 Hessian 矩阵满足 Lipschitz 连续性，即 Hessian 的变化率有界。 |
| Variance-Reduced Stochastic Methods | 一类随机优化算法，通过控制梯度估计的方差来加速收敛，如 SVRG、SAGA 等。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅