宽网络学习动态竟能用几个变量说清，特化加速靠二次屏蔽机制！
Mesoscopic learning dynamics of extensive-width neural networks
📖 AI 总结
该研究探讨两层神经网络在宽度与输入维度成比例增长时，随机梯度下降如何学习由同架构网络表示的目标函数。由于传统方法需追踪数量随规模发散的特征重叠量，作者转而刻画重叠量的分布，提出介观层面的学习动力学描述。研究发现，学习早期重叠统计可用高斯分布近似，从而将动力学约化为少数集体变量，分别追踪目标函数线性与二次成分的学习；随后估算了“特化”发生的时间尺度，即高斯近似失效、单个学习特征开始与特定目标特征强相关的阶段。研究进一步发现，广泛秩网络中的特化因二次屏蔽机制而加速——学习目标函数的线性与二次成分会过滤梯度涨落；激活函数则决定特化的模式及后续特征细化过程。这些结果揭示了集体学习如何过渡到个体特征发现，并明确了大型神经网络学习何时可用简单统计描述。
🔑 关键词速览
| 介观学习动态 | 介于微观（单个神经元）和宏观（整体性能）之间的尺度上描述神经网络学习过程的方法。 |
| 重叠 | 衡量学习到的特征与目标特征之间相关性的量，通常定义为特征向量的内积。 |
| 特化 | 学习过程中个体特征开始与特定目标特征强烈相关的现象。 |
| 二次屏蔽机制 | 学习目标函数的线性和二次分量时，梯度波动被过滤，从而加速特化的机制。 |
| 广泛秩网络 | 目标函数由具有广泛秩（即秩随网络宽度增长）的神经网络表示的网络。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅