📖 AI 总结

这篇论文研究非凸随机优化在更贴近实际的假设下的收敛性。经典随机梯度方法的收敛保证通常要求目标函数满足Lipschitz光滑且梯度噪声方差有限，但这两点在实践中常被违背。作者同时放宽这两个条件，考虑梯度为(L,s)-Hölder连续（s在0到1之间）且噪声仅满足有界α阶矩（α在1到2之间）的情形。主要结果有三：标准SGD在α≥1+s时以O(T^{-s/(1+s)})速率收敛；δ-正则化梯度裁剪在相同条件下达到O(T^{-2s(α-1)/[(1+s)(2α-1)]})的平稳性速率；标准梯度裁剪在α≥1+s时同样达到上述速率，而在极重尾的α<1+s区域给出O(T^{-2s(α-1)/[(α-1)+s(2α-1)]})的速率，这是该区域首个针对随机梯度类方法的收敛保证。

🔑 关键词速览