证明重球法在光滑凸优化中无法达到Nesterov最优收敛率,给出下界。
| Heavy-Ball method | 一种带有动量的梯度下降优化方法,通过引入动量项加速收敛。 |
| Nesterov's $O(T^{-2})$ last-iterate rate | Nesterov 加速方法在光滑凸优化中达到的关于迭代次数 T 的 O(1/T^2) 收敛速率,指最后一步迭代的误差。 |
| smooth convex objective | 具有 Lipschitz 连续梯度的凸函数,是优化理论中的标准函数类别。 |
| horizon-dependent parameters | 依赖于总迭代次数 T 的参数设置,允许在知道迭代预算的情况下调整步长和动量。 |
| last iterate | 优化算法在迭代结束后输出的最终点,其函数值与最优值的差距用于衡量收敛性能。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅