Muon优化器新发现：有限Newton-Schulz迭代反成非光滑优化利器，收敛性超越精确极分解！
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
📖 AI 总结
这篇论文研究了Muon优化器在非光滑非凸优化中的理论性质。Muon通过在动量更新中施加有限次Newton-Schulz迭代来近似正交化矩阵参数，此前理论认为这种近似只会损害收敛保证。作者通过在线到非凸转换框架分析发现，有限深度Newton-Schulz迭代实际上具有平滑化效应：它将不连续的极分解映射转化为关于奇异值的Lipschitz连续映射，使Muon可被视为带平滑谱势的在线学习器。核心结果表明，Newton-Schulz深度仅需随目标精度对数增长即可保证收敛到驻点，而使用精确极分解的Muon反而可能无法收敛。该方法的样本复杂度与非光滑非凸优化的最优已知界匹配，在光滑情形下也达到问题相关因子内的最优。这一发现揭示了有限近似迭代在非光滑优化中的积极作用，并可推广至具有类似平滑性质的一般谱映射。
🔑 关键词速览
| Muon | 一种针对矩阵参数优化的算法，通过Newton-Schulz迭代近似正交化动量。 |
| Newton-Schulz迭代 | 一种用于近似矩阵极分解的迭代方法，此处用于平滑不连续的极映射。 |
| 非光滑非凸优化 | 目标函数既非光滑也非凸的优化问题，通常更难处理。 |
| 在线到非凸转换 | 一种分析框架，将优化算法的更新视为在线学习器，并利用其遗憾界推导平稳性保证。 |
| 谱势 | 基于矩阵奇异值定义的势函数，用于分析优化算法的收敛性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅