矩阵乘法舍入新突破：误差直降90倍，1024维仅需16秩！
Product-Aware Deterministic Rounding for Quantized Matrix Multiplication
📖 AI 总结
本文研究量化矩阵乘法中的确定性舍入问题，指出标量舍入决策会通过矩阵乘法相互影响。在缩放因子、裁剪边界和量化网格固定后，作者让每个活跃标量在相邻量化级别间做选择，并提出乘积感知的确定性舍入方法。针对动态激活舍入，利用零空间约简保留松弛乘积，将分数决策数降至活跃权重块的秩r；再通过条件期望补全给出多项式时间算法，其平方乘积误差不超过最优可容许误差加上rν_max²/4。针对可复用静态权重，作者证明精确优化即使秩为一时也是NP难的，并给出期望乘积损失与输入二阶矩、输出偏置的关系。实验显示，在K=1024、r=16的均衡块中，该方法抖动归一化中位误差为0.010，而最近舍入为0.899；裁剪感知初始化在10%裁剪下将中位归一化误差降低43.4倍。Digits留出实验也表明，保留输入均值或校正输出偏置在全部四种位宽与校准规模设置下均优于最近舍入。该工作为量化推理中的舍入策略提供了理论保证与实用改进方向。
🔑 关键词速览
| 乘积感知舍入 | 在量化矩阵乘法中，考虑乘积整体误差而非独立标量误差的舍入决策方法。 |
| 零空间约简 | 通过消除对乘积无影响的决策变量，将舍入问题约简到低维子空间的技术。 |
| 条件期望补全 | 一种确定性算法，通过条件期望将分数决策补全为整数，以近似最优乘积误差。 |
| 抖动归一化中值误差 | 以抖动（dither）为基准归一化的误差中值，用于公平比较不同舍入策略。 |
| 裁剪感知初始化 | 在量化初始化阶段考虑裁剪边界影响，以减少后续舍入误差的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅