🔥 今日值得一读
Muon最优性竟如此脆弱！无原子径向律下精确缩放极最优性容量为零
When Is Muon Optimal? Radial Fragility and Minimax Geometry
👨💼 主理人解读 · 为什么值得关注
阐明Muon优化器何时优于梯度下降，指导开发者判断是否在训练中采用Muon。
📖 AI 总结
该研究探讨了Muon优化器在何种条件下最优这一理论问题。Muon以梯度矩阵的近似极因子替代原始梯度，在神经网络训练中表现优异，此前的各向同性曲率模型（ICM）从曲率角度给出了解释。作者将ICM中固定的输入半径推广为一般径向分布，提出随机半径各向同性曲率模型（RR-ICM）与极因子容许集，精确刻画了缩放极因子最优性所对应的几何条件。关键发现是：所有非标量容许响应均来自与曲率拐点对齐的径向原子，因此任何无原子的径向分布都表现出零容量刚性，即精确最优仅在梯度本身已是缩放列等距时才能实现。为衔接Muon的谱几何理论，作者进一步引入极小极大RR-ICM，证明每个非零全局极小点都位于梯度的极射线上，其尺度由一维凸问题决定，对应的容许几何为正半定迹板，与RR-ICM的球面环带几何形成鲜明对比。这些结果揭示了平均曲率解释在径向扰动下的脆弱性，并为Muon的极方向提供了新的极小极大变分刻画。
🔑 关键词速览
| Muon | 一种神经网络优化器，用矩阵梯度的近似极因子替代梯度进行更新。 |
| Isotropic Curvature Model (ICM) | 各向同性曲率模型，一种基于曲率解释梯度正交化最优性的理论框架。 |
| Random-Radius Isotropic Curvature Model (RR-ICM) | 随机半径各向同性曲率模型，将 ICM 的固定输入半径推广为一般径向律的模型。 |
| Polar-Factor Admissibility Set | 极因子容许集，刻画梯度正极因子满足精确缩放极最优性的几何条件集合。 |
| Minimax RR-ICM | 极小极大随机半径各向同性曲率模型，用球面上概率律的最坏情况优化替代方向平均的模型。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅