CLIP注意力层一改，开放词汇分割在5大数据集上性能飙升！
Refining Open-Vocabulary Semantic Segmentation via Regional Semantics and Visual Prototypes
📖 AI 总结
该论文针对开放词汇语义分割任务，指出现有CLIP模型虽在图像级分类中表现优异，但其视觉编码器难以直接胜任像素级区域-文本对齐。作者提出两项改进：一是调整CLIP视觉编码器的注意力层，采用选择性注意力特征计算方式，以保留更多区域语义信息；二是引入额外视觉原型，利用预测置信度高的图像块特征构建基于记忆的辅助分类器，缓解模态鸿沟带来的负面影响，并结合可优化特征提取器与指数移动平均更新策略提升预测质量。研究在5个语义分割数据集上开展实验，验证了方法的有效性。该工作为将CLIP类视觉语言模型适配到密集预测任务提供了可行思路，对开放词汇分割的性能提升具有参考价值。
🔑 关键词速览
| CLIP | 对比语言-图像预训练模型，通过大规模图文对学习视觉与文本的联合嵌入空间。 |
| 开放词汇语义分割 | 能够分割训练时未见过的类别，依赖文本嵌入进行类别匹配的像素级预测任务。 |
| 区域-文本对齐 | 将图像中的局部区域特征与文本嵌入进行匹配，以支持密集预测任务。 |
| 模态差距 | 视觉和文本两种模态在联合嵌入空间中分布不一致的现象，影响跨模态对齐效果。 |
| 指数移动平均 | 一种模型参数更新策略，通过平滑历史参数来提升特征提取器的稳定性和预测质量。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅