f散度与SAM竟是一回事？局部曲率视角揭示两者统一框架！
Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization
📖 AI 总结
本文探讨了基于散度的正则化与锐度感知最小化（SAM）之间的关系。两者均通过提升对扰动的鲁棒性来改善深度学习泛化能力，但其内在联系此前尚未被充分研究。作者基于f-散度的经典二阶展开证明，在参数空间扰动下，两种方法具有局部一致性：均产生曲率敏感的惩罚项，其中散度正则化给出Fisher加权的二次型，而SAM通过Hessian主特征值惩罚锐度。对于指数族输出分布的负对数似然目标，由于Fisher矩阵与Gauss-Newton矩阵重合，这种对应关系尤为清晰。作者进一步将该局部几何视角推广到输入空间扰动，此时正则化项诱导输入空间上的拉回二次型，提供了比标准SAM更通用的扰动框架。实证方面，作者以非对称α-偏斜Jensen-Shannon散度族为测试平台，其局部曲率系数按α(1-α)变化，在对称点α=1/2处达到最大。损失景观可视化显示更强的曲率惩罚对应更平坦的局部极小值，四个基准数据集上的实验也表明，在曲率惩罚最大的区域附近，准确率与负对数似然均表现最佳。
🔑 关键词速览
| f-散度 | 一类衡量两个概率分布差异的广义散度，通过凸函数f定义，包括KL散度、Jensen-Shannon散度等。 |
| 锐度感知最小化 (SAM) | 一种优化方法，通过同时最小化损失值和损失景观的锐度来提升模型泛化能力。 |
| Fisher信息矩阵 | 描述模型参数估计不确定性的矩阵，在正则化中用于加权参数空间的曲率。 |
| Jensen-Shannon散度 (JSD) | 一种对称且平滑的散度度量，基于KL散度定义，常用于比较概率分布。 |
| 损失景观 | 模型损失函数在参数空间中的曲面，其几何性质（如平坦性）与泛化性能密切相关。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅