用Fisher信息测地距离剪枝，全连接网络和ViT上准确率全面碾压传统幅度剪枝！
Optimal Pruning for Neural Architectures using Fisher Information Distances
📖 AI 总结
本文提出了一种基于模型空间微分几何距离的新型神经网络参数剪枝方法。研究将参数置零视为模型向该参数消失超曲面的位移，并利用Fisher信息度量下的测地距离来精确衡量剪枝带来的真实性能变化。通过分析测地距离的逐级近似，作者建立了一个剪枝最优性的自然层级：传统幅度剪枝对应最粗略的近似，而更精细的近似则衍生出更高效的新剪枝方案。在MNIST和CIFAR-10数据集上，针对全连接网络和视觉Transformer，覆盖0%至100%的完整剪枝范围及五个随机种子，该方法在准确率和Matthews相关系数上均优于幅度剪枝和仅使用局部Fisher信息的方法。研究还发现，中间层级的测地近似可在保持接近最优性能的同时显著降低计算成本。这一几何视角不仅提供了当前最优的剪枝方法，也为剪枝策略的有效性给出了经实验验证的数学依据。
🔑 关键词速览
| Fisher信息度量 | 一种用于衡量模型参数空间中局部曲率的黎曼度量，基于Fisher信息矩阵。 |
| 测地距离 | 在黎曼流形上两点之间的最短路径长度，此处指模型空间中的最小参数变化距离。 |
| 幅度剪枝 | 一种传统剪枝方法，根据参数绝对值大小将其设为零，通常剪除较小幅度的参数。 |
| 视觉Transformer | 一种基于自注意力机制的神经网络架构，广泛应用于计算机视觉任务。 |
| 马修斯相关系数 | 一种用于衡量二分类模型性能的指标，综合考虑真阳性、真阴性、假阳性和假阴性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅