SegFormer注意力头从40层压到20层，质量几乎无损！
Path-Conditioned Attention Mobility: From Depth to Execution Hubs in SegFormer
📖 AI 总结
该论文研究分层视觉Transformer中注意力功能能否在深度维度上局部迁移，并以SegFormer-B5人体分割模型为实验对象。核心发现是：部分任务相关注意力头可迁移至邻近深度，但必须保留其计算上下文——仅迁移注意力头本身效果不足，需同时适配周边表示边界，且替换供体特定的归一化与空间降采样预处理会导致性能大幅下降。作者据此提出“路径条件化移动性”，将保留的120个Stage-3注意力头从40个执行深度整合为20个执行枢纽。在三随机种子恢复对照下，K20配置达到0.960686±0.000059 mIoU，与State120对照的0.960400±0.000074基本持平，配对置信区间包含零，故解读为无可测质量损失而非统计优越。部署方面，FOLDED_VEC在保留供体特定路径的同时向量化执行，在NVIDIA L4上于批大小1、4、8时分别降低端到端延迟5.28%、3.15%和3.58%。研究表明注意力冗余不仅包含可移除容量，还包含执行深度冗余，前提是保留定义迁移功能的计算路径。
🔑 关键词速览
| SegFormer-B5 | 一种用于语义分割的分层视觉Transformer模型，是SegFormer系列的一个变体。 |
| 注意力头 | Transformer中多头注意力机制的一个独立子单元，负责学习特定的注意力模式。 |
| 执行深度 | Transformer中顺序执行注意力操作的层数，代表计算深度的维度。 |
| mIoU | 平均交并比，语义分割任务中常用的评估指标，衡量预测分割与真实标注的重合程度。 |
| FOLDED_VEC | 一种部署优化方法，在保留供体特定路径的同时向量化执行，以降低推理延迟。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅