电力负荷预测新突破：量化感知微调挽回超90%性能损失，权重更新骤降99.7%！
Extreme Low-State Quantized Transformer for Electricity-Load Forecasting
📖 AI 总结
该研究探讨了在极少离散权重状态下，Transformer 电力负荷预测模型能否保持可用性能。作者在两个电力消耗数据集上，针对提前1小时和提前24小时预测任务，测试了3、5、7、16状态的权重量化，并比较了仅前馈层量化与注意力加前馈层量化两种方案。结果显示，直接训练后量化会使归一化均方根误差（NRMSE）较全精度分别上升6.25和7.04个百分点，而量化感知微调可挽回约90.2%和94.5%的性能损失；从随机初始化开始的量化感知训练同样具有竞争力，在3状态下表现尤佳。研究还提出累积更新阈值方法，在仅带来极小误差增幅的情况下，将已提交的权重更新减少约99.7%、离散状态切换减少约77%至80%。这表明高度离散的权重表示仍可支撑有效的Transformer负荷预测，并为基于多级突触器件的低活动边缘预测提供了可行路径。
🔑 关键词速览
| 低状态权重量化 | 将神经网络权重限制为少量离散状态（如3、5、7、16个）的量化方法，以降低存储和计算开销。 |
| 量化感知微调 (QAT-FT) | 在预训练模型基础上进行微调，并在训练中模拟量化误差，以恢复量化导致的性能损失。 |
| 训练后量化 (PTQ) | 在模型训练完成后直接对权重进行量化，无需重新训练或微调。 |
| 归一化均方根误差 (NRMSE) | 一种预测误差度量，将均方根误差按数据范围归一化，便于不同数据集间比较。 |
| 累积更新阈值化 | 一种优化策略，在权重更新提交前累积多次优化器提出的变化，仅当累积量超过阈值时才更新，以减少状态切换。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅