🔥 今日值得一读
2比特KV缓存新突破：RoLaQ让DeepSeek-V2-Lite解码吞吐量提升2.51倍！
RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention
👨💼 主理人解读 · 为什么值得关注
长上下文推理显存不足时，可用该离线校准把MLA的KV缓存压到2比特，降低存储开销。
📖 AI 总结
本文提出 RoLaQ，一种面向多头潜在注意力（MLA）中 2 比特 KV 缓存的离线量化校准方法。MLA 将每个 token 的键值内容压缩为共享潜在表示，使低比特存储对长上下文推理颇具吸引力，但 2 比特下表示误差会同时干扰注意力匹配与值读取，且影响取决于误差方向和重建尺度。RoLaQ 在冻结的键、值投影所定义的子空间内优化共享旋转，并联合学习量化范围，使阈值与重建增益相互耦合以控制共享信号响应；校准过程由预测匹配与注意力输出监督引导，模型权重保持冻结。在三个 MLA 模型和六个基准上，无论是否启用 token 保护，RoLaQ 的平均准确率均优于所比较的 2 比特方法。在 DeepSeek-V2-Lite 上，其 SGLang 实现在相同内存预算下将 BF16 KV 容量提升 3.96 倍，并在 256K 输入 token 时达到 2.51 倍的解码吞吐。
🔑 关键词速览
| Multi-head Latent Attention (MLA) | 一种注意力机制，将键值缓存压缩为每个令牌的共享潜在表示，以减少长上下文推理的内存占用。 |
| KV Cache | 键值缓存，在自回归生成中存储先前计算的键和值，以避免重复计算，但会消耗大量内存。 |
| 2-Bit Quantization | 将数值用2个比特表示，大幅压缩存储，但会引入量化误差，影响模型精度。 |
| Rotation Calibration | 通过旋转操作调整潜在表示的方向，以减小量化误差对注意力匹配和值读取的影响。 |
| Range Calibration | 学习量化范围（阈值和重建增益），以优化量化后信号的表示精度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅