SNN量化新突破：内存省2.31倍，位分配快100倍！
Spike-Aware Gradient-Based Mixed-Precision Quantization of Spiking Neural Networks for Vision Applications
📖 AI 总结
该研究针对脉冲神经网络（SNN）在实际部署中低精度量化下精度保持难题，提出一种脉冲感知的梯度混合精度量化框架。现有基于Hessian的方法（如HAWQ-V2）因需跨多个时间步展开而带来显著内存与计算开销，新方法改用一阶梯度信息自适应分配位宽，规避了昂贵的二阶计算。作者在VGG、ResNet及Vision Transformer等多种SNN架构上，涵盖ANN转SNN与直接训练两种范式，于CIFAR10/100、ImageNet和DVS-CIFAR-10数据集进行验证。在ImageNet上的ResNet-34中，该方法以4.78倍压缩实现73.30%精度，与HAWQ-V2相当，同时内存消耗降低2.31倍、位分配运行时间缩短100倍。能量分析进一步表明，该量化策略可在不牺牲性能的前提下支持高能效部署，为SNN的实用化低精度部署提供了可行路径。
🔑 关键词速览
| Spiking Neural Networks (SNNs) | 一种模拟生物神经元脉冲发放机制的神经网络，具有事件驱动和稀疏计算的特点，能效高。 |
| Mixed-Precision Quantization | 一种量化技术，为网络的不同部分分配不同的位宽，以在精度和效率之间取得平衡。 |
| Hessian-based approaches | 利用二阶导数（Hessian矩阵）信息进行量化的方法，如HAWQ-V2，但计算开销大。 |
| First-order gradient information | 利用一阶导数（梯度）信息进行优化或决策的方法，计算成本较低。 |
| ANN-to-SNN conversion | 将训练好的人工神经网络（ANN）转换为脉冲神经网络（SNN）的技术，以利用SNN的能效优势。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅