🔥 今日值得一读
域间注意力新突破：同层融合注意力与循环记忆，1.3B模型性能超Transformer！
Interdomain Attention: Beyond Token-Level Key-Value Memory
👨💼 主理人解读 · 为什么值得关注
可在单层融合注意力表达力与循环记忆效率，用于长序列模型设计。
📖 AI 总结
该论文提出一种名为“域间注意力”（Interdomain Attention, IA）的新型混合注意力架构，旨在突破传统按层堆叠注意力与循环记忆的混合模式，在同一层内融合二者。IA 受 softmax 注意力的核回归视角启发，将键的值与核特征压缩进由状态空间模型（SSM）参数化的循环记忆中，再通过隐式重建注意力矩阵与值来近似点积注意力，同时保留 SSM 的计算效率优势。消融实验表明，类注意力的读出机制是性能提升的主要来源。在 125M 至 1.3B 参数规模的文本预训练中，IA 在同等记忆大小下优于 S4D 基线，并在困惑度和常识推理准确率上超过基于 softmax 注意力的 Transformer；在基因组数据上基于 Caduceus 骨干也达到或超过原 SSM 架构。该工作为高效序列建模提供了新的层内混合思路。
🔑 关键词速览
| Interdomain Attention (IA) | 一种混合注意力架构，在同一层内结合注意力和循环记忆，以兼顾表达能力和计算效率。 |
| State Space Model (SSM) | 一类基于循环记忆的序列模型，以计算高效著称，如S4D。 |
| Kernel Regression | 一种非参数回归方法，此处用于解释Softmax注意力的机制。 |
| Softmax Attention | Transformer中使用的标准注意力机制，通过Softmax函数计算注意力权重。 |
| Perplexity | 语言模型常用的评估指标，衡量模型对序列的预测不确定性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅