📖 AI 总结

在大模型序列长度迈向百万级的背景下，传统 softmax 注意力的 O(N²) 开销成为瓶颈，Qwen、Kimi 等主流模型转向“线性注意力+softmax 注意力”的混合架构。文章介绍了阿里巴巴 Qwen 团队推出的 FlashQLA——面向 GDN 线性注意力的高性能 GPU 算子库。GDN 通过引入更新门与遗忘门提升表达力，但常规逐 token 递推难以利用 tensor core，需借助 WY representation 将计算转为 chunk-by-chunk 形式。该流程存在并行度不足、中间变量写回 HBM 造成访存冗余、SFU 负载过重等痛点。FlashQLA 针对 GDN 结构特性进行硬件友好代数改写，提出序列维度分块与 warp specialization 协同优化，并利用滑动窗口性质复用，显著降低显存带宽压力，为线性注意力的高效 GPU 实现提供了系统性方案。