大模型推理新突破：AIQ量化精度媲美MX，还能无误差乘累加！
Algebraic Integer Quantization for Machine Learning Applications
📖 AI 总结
本文提出代数整数数值格式（AINF）作为一种高度可配置且精确的压缩计算框架。其核心特性是可自然归约为纯整数运算，从而实现无误差的乘累加操作。作者据此开发了矩阵乘法引擎，在现代硬件加速器上取得了与最高效数值方案相当且可预测的性能。基于该特性，文章进一步提出代数整数量化（AIQ），一种面向大语言模型推理的有损压缩格式。实验表明，在相同每参比特预算下，AIQ在多种模型和基准测试中达到了与业界标准MX格式相当的精度。当前实验采用二次代数整数，作者指出向高阶及多维代数整数的推广有望带来更大的计算优势，是未来值得探索的方向。
🔑 关键词速览
| 代数整数数值格式 (AINF) | 一种基于代数整数的数值表示框架，支持高度可配置且精确的压缩计算，可直接约化为纯整数运算。 |
| 代数整数量化 (AIQ) | 一种利用代数整数进行有损压缩的量化方法，专为大语言模型推理设计，能在低比特下保持竞争性精度。 |
| 乘累加操作 (MAC) | 矩阵乘法等计算中的核心操作，将乘积累加，AINF可实现无误差的乘累加。 |
| MX格式 | 行业标准的数值压缩格式，常用于机器学习模型量化，作为AIQ的对比基准。 |
| 二次整数 | 次数为二的代数整数，本文实验采用的代数整数类型，可进一步推广到更高阶。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅