证明SGD在光滑凸目标上时间一致收敛率接近但达不到sqrt(log n/n)。
| 随机梯度下降 (SGD) | 一种通过随机采样梯度进行迭代优化的算法,常用于大规模机器学习。 |
| 时间一致收敛 | 指在多个时间点上同时成立的收敛性质,而非仅针对单个时间点。 |
| 原始迭代 | 指SGD算法中直接更新的迭代点,而非经过平均或投影后的迭代点。 |
| 光滑凸目标 | 目标函数具有光滑性(梯度Lipschitz连续)且为凸函数,是优化理论中的标准假设。 |
| 二进制无水平调度 | 一种基于二进制划分的步长或重启策略,用于实现无水平(horizon-free)的收敛保证。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅