深度网络特征对齐的秘密：三族交换子揭示谱几何新机制！
A Commutator Framework for Selective Spectral Alignment in Deep Neural Networks
📖 AI 总结
该论文提出一个有限宽度的几何框架，用于描述深度神经网络中学习到的特征几何如何被组织、传递并选择性对齐。研究通过三类交换子（门控与协方差、灵敏度与协方差、平均梯度外积与神经特征矩阵）量化了权重生成协方差、门控和反向灵敏度之间的不相容性。关键发现包括：灵敏度-协方差交换子可分解为下游传递、相邻层不平衡、逐点灵敏度波动和非线性门控-协方差交互四个来源；AGOP-NFM交换子作为内部交换子的奇异值加权传递，解释了特征侧对齐为何无法单独决定内部几何。研究建立了谱间隙、投影器演化和稳定性估计，并提出条件李雅普诺夫原理，表明风险降低并不必然导致交换子坍缩。数值实验显示，负传递-不平衡交互主导的抵消现象在深度、宽度和回归基准中持续存在，说明谱对齐是层和尺度依赖的兼容性现象，而非训练的普遍结果。
🔑 关键词速览
| Commutator | 交换子，衡量两个算子或矩阵不兼容性的量，此处用于量化网络不同组件间的相互作用。 |
| Spectral Alignment | 谱对齐，指特征矩阵的谱结构与梯度或数据协方差结构相匹配的现象。 |
| Average Gradient Outer Product (AGOP) | 平均梯度外积，通过梯度向量外积的平均来捕捉特征重要性的统计量。 |
| Neural Feature Matrix (NFM) | 神经特征矩阵，表示网络某一层中神经元激活或特征向量的矩阵。 |
| Lyapunov Principles | 李雅普诺夫原理，用于分析动态系统稳定性的方法，此处用于研究训练过程中几何量的衰减条件。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅