复参数网络藏“几何陷阱”！负曲率竟让AI优化崩盘，Calabi-Yau流形成新战场
K\"ahler landscapes for complex neural network descents and guarantees including a search and destroy of the Calabi-Yau manifold
👨💼 主理人解读 · 为什么值得关注
用Kähler几何分析复参数网络的损失景观，提供理论收敛保证，适合研究复杂优化路径的开发者。
📖 AI 总结
该研究探讨了复数参数化神经网络的损失景观，引入了一种基于信息论流形视角的Kähler信息度量，通过Wirtinger Hessian在交叉熵下定义，并采用自然梯度下降更新规则，使下降路径保持在全纯切丛中。文章重点分析了Calabi-Yau信息流形在非紧致设定下的理论保证问题，指出在固定行列式条件下，近似低秩度量会引发爆炸效应，而负截面曲率会破坏损失景观，并与负定Ricci曲率建立联系。研究还从深度学习理论角度，讨论了初始化渐近行为及在消失或负Ricci曲率下神经网络保证失效的模式。该工作为复杂几何结构在神经网络优化中的理论分析提供了新视角，揭示了曲率条件对优化动态和模型泛化能力的深层影响。
🔑 关键词速览
| Kähler信息度量 | 一种在复流形上定义的黎曼度量，满足特定的相容性条件，用于描述参数空间的几何结构。 |
| Calabi-Yau流形 | 一种具有Ricci平坦性质的紧致复流形，在弦论和几何分析中具有重要地位。 |
| Wirtinger Hessian | 针对复值函数的二阶导数算子，用于处理非全纯函数的优化问题。 |
| 自然梯度下降 | 一种优化方法，使用信息几何中的Fisher信息度量来调整梯度方向，以提高收敛性。 |
| Dolbeault渐近 | 涉及Dolbeault上同调理论的渐近分析方法，用于研究复流形上的微分形式。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅