两层网络竟有“无声对齐”：奇异方向先对齐，损失却纹丝不动！
Silent Alignment in Two-Layer Linear Networks: A High-Dimensional Perspective
📖 AI 总结
该研究考察两层线性网络在高维情形下的梯度流动力学，即输入、隐藏与输出维度按比例同时趋于无穷。作者在白化输入与各向同性不平衡条件下，将动力学的闭式解与随机矩阵理论结果结合，推导出动力学的高维极限，给出权重矩阵在任意时刻的精确渐近谱分布，并刻画学习子空间的演化。在小初始化极限下，研究发现“静默对齐”现象：网络奇异方向在常数级时间尺度上完成对齐，而奇异值与经验损失仍保持初始值；可见学习随后在对数时间尺度上出现，奇异值逐步脱离零、损失开始下降。该阶段表现为鞍点到鞍点的动力学，并在高维极限下转化为连续的谱学习过程。研究为理解深度线性网络训练早期的隐式对齐机制提供了精确的高维理论刻画。
🔑 关键词速览
| 梯度流 | 一种连续时间的优化动力学，描述参数沿损失函数负梯度方向演化的过程。 |
| 高维极限 | 当网络各层维度按比例趋于无穷时，系统行为收敛到的渐近状态。 |
| 随机矩阵理论 | 研究随机矩阵特征值和奇异值渐近分布的数学理论，常用于分析高维模型。 |
| 无声对齐 | 指网络奇异方向在损失和奇异值几乎不变的情况下快速对齐的现象。 |
| 鞍点到鞍点动力学 | 优化过程中参数依次经过多个鞍点、逐步逃离零奇异值区域的动态行为。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅