恒定学习率SGD首次实现全轨迹级推断，误差界精确到KMT！
Strong Gaussian Approximation of Constant-Learning-Rate SGD: Bias and Trajectory Inference
📖 AI 总结
本文研究恒定学习率随机梯度下降（SGD）的强高斯近似问题，作者在重尾噪声假设下，令迭代次数增加与学习率缩小同步进行，构造了同一空间上的高斯过程，并给出了SGD误差与其极限之间最大偏差的概率上界。与仅能实现单次迭代推断的既有中心极限定理不同，该淬火型KMT近似支持有限样本下整条轨迹的同步推断，并蕴含泛函中心极限定理。当学习率按c/√n量级缩放时，结果揭示了控制SGD偏差与初始化效应之间的权衡：不存在某种学习率缩放方式能使二者在累积误差极限中同时消失。为消除这两项贡献，作者引入Burn-in方案与Richardson-Romberg外推，分别证明了相应的KMT与泛函极限定理，并针对重标度迭代轨迹给出了向平稳Ornstein-Uhlenbeck过程收敛的有限时域近似。该工作为风险控制与同步推断等应用提供了理论工具，并辅以数值模拟验证。
🔑 关键词速览
| KMT逼近 | Komlós-Major-Tusnády型强高斯逼近，用于将随机过程用高斯过程在概率意义下一致逼近。 |
| 恒定学习率SGD | 随机梯度下降算法中学习率保持为常数，不随迭代次数衰减。 |
| 重尾噪声 | 噪声分布具有厚尾特性，即极端值出现的概率比高斯分布更高。 |
| 泛函中心极限定理 (FCLT) | 随机过程序列在函数空间上弱收敛到高斯过程的定理，用于全轨迹推断。 |
| Ornstein-Uhlenbeck (OU) 过程 | 一种均值回归的连续时间高斯过程，常用于描述平稳随机动态。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅