🔥 今日值得一读
泰勒级数把注意力压成3个循环状态，8192长度直接提速20.8倍！
Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent States
👨💼 主理人解读 · 为什么值得关注
长序列注意力太慢时，可用该泰勒分解把历史压成固定循环状态，实现线性时间且支持并行预填充。
📖 AI 总结
这篇论文提出一种将注意力机制中指数核展开为截断泰勒级数的方法，通过把每一项分解为张量幂内积，将因果历史压缩为固定数量的循环状态。每个状态仅由每token一次秩一外积更新，且与上下文长度无关，从而实现线性时间注意力。实验显示，状态方法的计算量随序列长度增长约为N的0.91次方，而softmax为2.28次方，在N约728处出现交叉，N为8192时加速20.8倍；逐token解码延迟恒定为7.3微秒，N为65536时较softmax加速76倍。精度随项数指数提升，但代价组合式增长，最优取二阶即n=3，误差约6.5×10⁻⁴。研究还指出查询与键归一化是必要前提，否则参数超出收敛半径，增加项数不再有效。该工作为长序列建模提供了兼顾效率与精度的新路径。
🔑 关键词速览
| 泰勒级数展开 | 将指数函数近似为有限项多项式之和的方法，用于将注意力核分解为可递归计算的形式。 |
| 循环状态 | 在序列处理中，将历史信息压缩为固定数量的状态变量，每个状态随新 token 更新，与上下文长度无关。 |
| 秩一外积 | 两个向量的外积，生成一个秩为1的矩阵，用于高效更新循环状态。 |
| 并行扫描 | 一种并行计算前缀和或递归的算法，用于加速预填充阶段的序列处理。 |
| SVD | 奇异值分解，一种矩阵分解方法，用于验证状态宽度的理论界限。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅