128K上下文解码吞吐量飙至全KV注意力的6.43倍，JSSA无需训练即可逼近原生精度！
Joint Subspace Sparse Attention for Efficient Long-Context Decoding
📖 AI 总结
本文提出联合子空间稀疏注意力（JSSA），旨在解决长上下文大模型解码中KV缓存流量过大的问题。针对token级选择面临的两大挑战——低维打分损失查询-键结构导致排序不准，以及分散token的聚集开销抵消延迟收益，JSSA通过学习共享的低维查询-键子空间来最小化token分数保持误差，并将非凸目标上界化为可解的边际目标，得到闭式谱解。在执行层面，作者设计了免聚集的token级索引注意力核，支持在标准GQA缓存布局下按KV头进行差异化选择。在标准GQA、混合滑窗/全局注意力及MLA模型上，JSSA在保持接近全KV精度的同时，避免了竞争方法出现的生成长度膨胀和架构相关失效。在NVIDIA B200上，128K上下文时解码吞吐量最高达全KV注意力的6.43倍；无需训练即可达到与模型原生DSA相当的推理精度，在700B规模模型上仍保持其96%至99%的解码吞吐。
🔑 关键词速览
| Joint Subspace Sparse Attention (JSSA) | 一种联合子空间稀疏注意力方法，通过共享低维查询-键子空间实现令牌级选择，提升长上下文解码效率。 |
| KV-cache | 键值缓存，用于存储自注意力机制中的键和值，以减少长上下文解码中的重复计算。 |
| Grouped-query attention (GQA) | 分组查询注意力，一种注意力机制，其中多个查询头共享相同的键和值头，以平衡效率和性能。 |
| Multi-head Latent Attention (MLA) | 多头潜在注意力，一种注意力变体，通过潜在表示压缩键和值，降低内存和计算开销。 |
| Token-level selection | 令牌级选择，在稀疏注意力中，根据评分选择部分令牌参与计算，以降低计算复杂度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅