🔥 今日值得一读
APE和RoPE竟用完全不同的内部机制编码位置，置换APE位置特征准确率暴跌31个百分点！
How Vision Transformers Represent Position: A Mechanistic Comparison of Absolute and Rotary Positional Encodings
👨💼 主理人解读 · 为什么值得关注
帮助开发者理解APE与RoPE在ViT中的内部差异，为视觉模型位置编码选型提供依据。
📖 AI 总结
本研究通过机制可解释性方法，系统比较了视觉Transformer中绝对位置编码（APE）与旋转位置编码（RoPE）在空间位置表征上的内部差异。研究发现，APE将位置信息存储为显式特征，稀疏自编码器可从中提取出行、列特定的因果特征；而RoPE则在注意力机制内部构建位置信息，并在位置被遮蔽时予以重建，其行、列旋转分量可被独立干预和部分恢复，且存在轴专门化的注意力头参与该过程。因果实验表明，两种机制对分类均具关键作用：打乱APE位置特征会使Top-1准确率下降24至31个百分点，而消融RoPE主要重建头的旋转所导致的性能损失超过其他任何注意力头。该工作揭示了位置编码方式从根本上改变了ViT内部空间信息的组织与处理方式，也展示了机制分析在理解模型结构化表征构建与维护方面的价值，为视觉模型的定向干预提供了依据。
🔑 关键词速览
| Vision Transformer (ViT) | 一种将Transformer架构应用于图像分类的模型，将图像分割为块并处理其序列。 |
| Absolute Positional Embeddings (APE) | 一种位置编码方法，为每个位置学习一个固定的嵌入向量，并加到输入特征上。 |
| Rotary Positional Embeddings (RoPE) | 一种通过旋转注意力中的查询和键向量来编码相对位置信息的位置编码方法。 |
| Sparse Autoencoders | 一种神经网络，通过稀疏性约束学习输入数据的稀疏特征表示，常用于可解释性研究。 |
| Causal Interventions | 通过干预模型内部组件（如消融或置换）来测试其对模型行为的因果影响的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅