随机梯度法为何仍胜新算法？到达极小值邻域时间竟呈指数分布！
Distribution of hitting times for dissipative random dynamical systems on $\mathbb{R}^d$, with application to stochastic gradient descent
📖 AI 总结
该研究从遍历理论视角出发，探讨了耗散型随机动力系统在欧氏空间中的击中时间分布问题，并将其应用于随机梯度下降算法的收敛性分析。作者研究了随机优化算法首次进入极小值点附近小邻域所需的期望时间，证明该击中时间在其均值附近呈指数分布，而均值由目标区域的平稳测度倒数给出。研究在噪声假设上涵盖高斯噪声与次指数噪声两类情形。这一结果为理解深度学习中所用梯度类算法的长期渐近行为提供了新的理论工具，有助于从概率分布层面刻画随机优化方法的收敛特性。
🔑 关键词速览
| 耗散随机动力系统 | 一类具有能量耗散特性的随机演化系统，其长期行为会收敛到吸引子或平稳分布。 |
| 随机梯度下降 | 一种通过使用小批量数据估计梯度来迭代优化目标函数的算法，广泛应用于深度学习训练。 |
| 击中时间 | 随机过程首次进入某个特定区域（如极小值点邻域）所需的时间。 |
| 平稳测度 | 随机过程在长时间后达到的统计平衡分布，不随时间变化。 |
| 次指数噪声 | 一种比高斯噪声具有更重尾部的随机噪声假设，常用于分析优化算法的收敛性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅