SGD扩散近似首次搬上Wasserstein空间，二阶弱精度搞定无限维优化！
Stochastic Gradient Descent over P2
📖 AI 总结
本文研究随机梯度下降（SGD）在概率测度空间上的优化问题，具体考察目标泛函定义于 Wasserstein 空间 P2 的情形。经典欧氏空间中，SGD 可用高斯噪声替代随机梯度，从而借助扩散近似分析其动力学与长期行为；但 P2 的非线性几何与无穷维特性使这一理论无法直接推广。作者利用 Lions 可微性将问题提升至线性希尔伯特空间，从而获得高阶微分运算能力，并构造了一个高斯随机场近似，使其速度场的均值与协方差匹配原始随机梯度。通过高阶泰勒展开进行矩匹配，作者证明该高斯近似以二阶弱精度捕捉 SGD 动力学。这一结果为在概率测度上的随机优化中用解析可处理的高斯涨落替代样本驱动的随机性提供了严格的理论基础。
🔑 关键词速览
| 随机梯度下降 (SGD) | 一种迭代优化算法，使用随机样本估计梯度以更新参数。 |
| Wasserstein空间 P2 | 概率测度空间，配备2-Wasserstein距离，用于衡量测度之间的差异。 |
| Lions可微性 | 一种在Wasserstein空间上定义可微性的方法，通过提升到Hilbert空间进行微分。 |
| 高斯随机场近似 | 用高斯随机场逼近随机梯度，以简化分析并保持关键统计特性。 |
| 二阶弱精度 | 近似误差在弱意义下达到二阶，即对光滑测试函数的期望误差为二阶小量。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅