对称性一除，泛化能力直接锁死！SGD隐式偏好被商平坦性定理彻底破解
Symmetry-quotient Flatness and Generalization
📖 AI 总结
该论文针对传统平坦性度量在函数保持对称性（如正缩放）下不具不变性的问题，提出了一套对称商空间上的理论框架。作者在平方损失和具备函数保持群作用的模型上，将商平坦性定义为经验损失Hessian在正则商流形上的迹，并建立了一条定理级推理链：商线性稳定性蕴含商平坦性，商平坦性蕴含输入平滑性，输入平滑性在局部覆盖假设下导出泛化界。研究进一步证明，线性化SGD动力学的一步均方商线性稳定性可给出以批量大小和学习率表示的显式商平坦性上界，并将分析推广至高阶张量矩。最终在局部覆盖与有界性假设下，导出了以商平坦性和商线性稳定性表达的总体泛化界。该工作为理解SGD的隐式平坦偏置与泛化之间的关系提供了对称性感知的理论基础。
🔑 关键词速览
| 商平坦性 | 在神经网络参数的商空间上定义的平坦性度量，对保函数对称性具有不变性。 |
| 商线性稳定性 | 线性化随机梯度下降动力学在商空间中的稳定性性质，与商平坦性相关。 |
| 输入平滑性 | 模型输出对输入变化的平滑程度，由商平坦性控制。 |
| 保函数对称性 | 神经网络参数空间中不改变网络所表示函数的变换，如正缩放。 |
| 局部覆盖假设 | 用于推导泛化界的一种假设，要求参数空间局部覆盖商空间。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅