证明银步长在梯度下降加速中近乎最优,给出非任意和任意时间下界。
| 梯度下降 (Gradient Descent, GD) | 一种通过沿负梯度方向迭代更新参数以最小化目标函数的一阶优化算法。 |
| 光滑凸优化 (Smooth Convex Optimization) | 目标函数为凸函数且梯度满足利普希茨连续条件的优化问题,常见于机器学习和数学规划。 |
| 非负步长 (Nonnegative Stepsizes) | 在梯度下降迭代中,每次更新所采用的步长系数为非负数,用于控制收敛速度。 |
| 任意时刻设置 (Anytime Setting) | 一种算法评估框架,要求算法在任何时间点停止时都能提供有保证的误差界,而非仅在预设迭代次数后。 |
| 银级调度 (Silver Schedule) | 一种特定的步长序列,由 Altschuler 和 Parrilo 提出,用于加速梯度下降,其收敛指数与 \(\log_2(1+\sqrt{2})\) 相关。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅