首个跨域遥感分割基准来了：4.7万组数据，只调1%参数就搞定双重漂移
VPRef: A Cross-Domain Benchmark for Referring Remote Sensing Image Segmentation
📖 AI 总结
本文针对遥感图像指代分割（RRSIS）在实际部署中面临的跨域性能退化问题展开研究，指出该问题源于视觉域漂移（跨空间分辨率不匹配与光谱变化）和文本逻辑漂移（用户输入粒度不受约束且多变）构成的双重耦合困境。为此，作者构建了首个跨域RRSIS基准数据集VPRef（Vaihingen-Potsdam Referring），包含46972个语言-图像-标注三元组，并按三层语言层级组织。基于该基准，研究提出了一种以SAM3为骨干、通过LoRA实现的高效参数域适应基线方法，利用伪标签驱动的自训练应对视觉分布差异，并通过随机多粒度文本提示混合处理文本逻辑漂移。消融实验表明，跨模态语义鲁棒化与视觉域对齐可能存在解耦关系：语言差异驱动细粒度语义不变性，而伪标签传播主导宏观空间网格对齐。该框架仅需修改1.08%的基础参数即可实现优越的跨域分割边界，为多模态遥感域适应研究提供了稳健基线。
🔑 关键词速览
| RRSIS | 指代遥感图像分割，即根据自然语言描述在遥感图像中分割出对应目标的任务。 |
| VPRef | 本文提出的首个跨域RRSIS基准数据集，由Vaihingen和Potsdam两个遥感域构成，含约4.7万个语言-图像-标注三元组。 |
| SAM3 | Segment Anything Model的第三代版本，是一种强大的通用图像分割基础模型，本文将其作为域适应的骨干网络。 |
| LoRA | 低秩适配，一种参数高效微调技术，通过注入低秩矩阵来适配大模型，仅需训练极少量参数。 |
| 双重漂移 | 本文提出的概念，指视觉域漂移（跨分辨率与光谱差异）和文本逻辑漂移（用户输入粒度多变）耦合导致的性能退化现象。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅