量化后状态存储误差暴涨300倍！一招写回机制，无需重训直接恢复精度！
When Quantization Breaks Memory: Recurrent-State Write-Back in Low-Precision Temporal Inference
📖 AI 总结
该研究探讨了量化在循环神经网络推理中引发的“记忆断裂”问题，提出“循环状态写回”概念，用以描述低精度状态下状态存储规则对后续计算的影响。作者在用于荧光寿命成像的紧凑GRU编码器-解码器中，固定训练模型，将连续状态传播替换为确定性4比特存储，结果导致短寿命参数τ1和τ2的估计误差分别增加约70倍和300倍。失败源于微小更新低于写入阈值，使状态近乎冻结。误差反馈、残差记忆和方向记忆机制可在不重训练的情况下恢复精度。精度扫描显示，提高状态精度未必改善固定循环解，而匹配训练可学习状态接口兼容性。在独立训练的LSTM中，类似干预重现了失败模式，且细胞状态比隐藏状态更敏感。研究确立了循环状态写回作为低精度循环动态的关键决定因素，强调状态存储接口是量化循环推理的核心设计考量。
🔑 关键词速览
| recurrent-state write-back | 指循环网络中存储量化状态时采用的规则，该规则影响后续时间步的计算。 |
| quantization | 将神经网络中的权重和激活值从高精度（如32位浮点）转换为低精度（如4位整数）以降低计算和内存开销的技术。 |
| GRU encoder-decoder | 一种基于门控循环单元的编码器-解码器架构，用于序列到序列的任务，如从信号中估计参数。 |
| fluorescence lifetime imaging | 一种分子成像技术，通过测量荧光信号的衰减时间（寿命）来定量分析生物样本的微环境。 |
| error feedback | 一种机制，将量化或存储过程中丢失的信息以误差形式反馈到后续计算中，以补偿精度损失。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅