SGD收敛性大突破！欧几里得距离下直接证明，ASGD推断不再依赖初始化！
Stochastic Gradient Descent: A Nonlinear Time Series Perspective
📖 AI 总结
该论文在迭代随机函数框架下研究固定步长随机梯度下降（SGD）的统计行为。与以往基于概率测度（如Wasserstein距离）的收敛性研究不同，作者通过证明SGD的几何矩收缩（GMC），直接给出欧氏距离意义下的收敛结果，从而能够处理由固定初始点导致的非平稳性，并提供更精细的渐近分析。具体而言，论文证明了平均SGD（ASGD）在任意初始化下的淬火中心极限定理、不变原理及α稳定收敛。作者还通过研究SGD关于步长的导数，提出理解步长影响的新视角，证明了导数过程平稳解的存在性，并利用多步长构造了改进偏差表示的Richardson-Romberg外推，使ASGD估计更接近全局最优。最后提出新的在线推断方法与偏差缩减变体，经验置信区间的覆盖概率随样本量增长趋近名义水平。
🔑 关键词速览
| 随机梯度下降 (SGD) | 一种用于优化目标函数的迭代算法，每次使用一个或一小批样本计算梯度的随机估计。 |
| 几何矩收缩 (GMC) | 本文提出的一个性质，指SGD迭代的矩以几何速率收缩，从而保证欧几里得距离下的收敛性。 |
| 淬火中心极限定理 | 在随机环境中，针对几乎每个固定环境实现（而非对环境的平均）的中心极限定理。 |
| α-稳定收敛 | 指随机变量序列依分布收敛到α-稳定分布，该分布具有重尾特性，常用于刻画具有无限方差的极限行为。 |
| Richardson-Romberg外推 | 一种通过组合不同步长下的估计来消除低阶偏差项、提高数值精度的外推方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅