SGD高概率保证大突破：β-重尾噪声下依然稳！
High-Probability Guarantees for SGD under $\beta$-Heavy-Tailed Gradient Noise
📖 AI 总结
本文针对随机梯度下降（SGD）在梯度噪声呈重尾分布时的高概率保证问题展开研究。传统高概率分析通常依赖有界噪声或亚高斯假设，但深度学习实践中普遍观察到重尾梯度噪声，促使作者放松这些限制。研究引入Orlicz空间理论中的Young函数来统一刻画噪声尾部，提出β-重尾噪声模型：该模型保持所有多项式矩有限，同时允许尾部比亚Weibull更重，涵盖对数正态分布，β参数控制尾部厚重程度。作者建立了β-重尾噪声的集中不等式，并结合SGD轨迹上经验梯度与总体梯度之差的统一界，在光滑非凸损失下给出了优化与总体风险稳定性的高概率界。这些界不依赖特定学习率衰减规则，明确体现了噪声尾部与学习率调度的影响；在Polyak-Łojasiewicz条件下还给出了最后一次迭代的风险界，并分析了梯度裁剪下的SGD。该工作为理解重尾噪声环境中SGD的收敛行为提供了更贴近实际的理论框架。
🔑 关键词速览
| 随机梯度下降 (SGD) | 一种优化算法，通过使用小批量数据迭代更新模型参数来最小化损失函数。 |
| 重尾噪声 | 指概率分布尾部比高斯分布更厚的噪声，意味着极端值出现的概率更高。 |
| Orlicz空间 | 由Young函数定义的函数空间，用于研究随机变量的尾部行为。 |
| β-重尾 | 本文提出的一类噪声模型，通过参数β控制尾部重量，允许比次Weibull更重的尾部。 |
| Polyak-Łojasiewicz条件 | 一种比强凸性更弱的条件，常用于分析非凸优化算法的收敛性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅