仅需有限梯度矩，随机Nesterov加速实现同步L^p几何收缩！
Geometric Moment Contraction for Stochastic Nesterov Acceleration
📖 AI 总结
本文研究常参数随机 Nesterov 加速递推的几何矩收缩（GMC）性质。在均值强单调与随机 L^p Lipschitz 连续假设下，作者通过显式 Perron 比较证明了同步 L^p 收缩，并给出判据 βγL_p<(1-β)(1-q_{γ,p})。该判据可覆盖 1<p<2 时的无穷方差梯度情形，但其小步长区间要求 β<μ/(μ+L_p)。为弥补这一限制，作者借助幂型 Lyapunov 论证，对任意固定 β<1 和 p>1 建立了正且通常更小的步长区间，仅需有限的 p 阶梯度矩。在 p=2 时给出显式证书，并指出其二次高动量标度是所选度量导致的局限，而非尖锐稳定性边界。文章进一步量化该损失，提出一般性的仅依赖均值的二次 S-过程，并在更强的逐样本扇区信息下利用端点 Lyapunov 不等式，验证后的端点证书可比显式度量保守数个数量级。
🔑 关键词速览
| 几何矩收缩 (GMC) | 一种分析随机优化算法收敛性的框架，通过研究矩（如 \(L^p\) 范数）的几何衰减来证明同步收缩。 |
| 随机 Nesterov 递推 | 带有随机梯度的 Nesterov 加速梯度方法的迭代格式，包含动量项和步长参数。 |
| Perron 比较 | 一种通过比较矩阵或算子的谱半径来证明收缩性的方法，常用于分析线性递推的稳定性。 |
| S-过程 | 一种处理二次不等式约束的经典方法，通过引入拉格朗日乘子将约束优化转化为无约束问题。 |
| 端点 Lyapunov 不等式 | 在状态空间端点处成立的 Lyapunov 型不等式，用于推导更紧的稳定性条件或收敛速率。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅