非平稳注意力核新突破：FSKA减少40%以上参数，性能不降反升！
Flow-based Spectral Kernel Learning for Nonstationary Attention
📖 AI 总结
该论文提出基于流的谱核注意力（FSKA）框架，旨在解决现有核化注意力方法依赖固定或平稳核、难以适应复杂词元交互的问题。FSKA 通过谱密度学习构建核化注意力，并利用归一化流参数化双变量谱密度，使核学习兼具灵活性与可正则化性，同时保持与可扩展线性注意力计算的兼容。研究进一步表明，表达性强的核学习可支持简化注意力设计，去除查询—键投影并采用固定正交值投影，从而提升参数效率。在分类、消融和可扩展性分析等受控实验中，FSKA 性能与现有注意力机制相当或更优，投影相关可训练参数较多数基线减少约40%至47%，并维持良好的线性注意力内存扩展特性。
🔑 关键词速览
| 核化注意力 (Kernelized Attention) | 将自注意力视为基于核函数的相似性聚合，用核方法解释和设计注意力机制。 |
| 非平稳核 (Nonstationary Kernel) | 相似性结构随输入位置或上下文变化的核函数，能适应复杂的词元交互。 |
| 谱密度学习 (Spectral Density Learning) | 通过学习和参数化核函数的谱密度（频率域表示）来构建核函数的方法。 |
| 归一化流 (Normalizing Flows) | 一类可逆的生成模型，通过可逆变换将简单分布映射为复杂分布，用于灵活建模谱密度。 |
| 线性注意力 (Linear Attention) | 通过核技巧将注意力计算复杂度从二次降为线性的高效注意力变体。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅