超像素对比学习新突破，语义分割最高提升9.79 mIoU！
SPARC: SuperPixel-Aware Region Contrastive Learning for Self-Supervised Dense Prediction
📖 AI 总结
本文提出SPARC，一种面向区域级表示学习的自监督对比学习框架，旨在弥补现有对比学习方法多聚焦图像级或像素级、而区域级表示探索不足的空白。SPARC利用超像素在增强视图之间建立显式对应关系，引入区域对比分支，通过基于超像素的特征池化，将区域级对比目标与全局图像级目标联合优化。在相同实验设置下，SPARC持续优于MoCo-v2和DenseCL等先前方法，在语义分割任务上最高提升9.79 mIoU，在目标检测任务上最高提升4.88 AP。消融实验进一步表明，区域级目标带来的性能提升最为显著。该研究说明区域级对比学习是改进面向密集预测任务的自监督视觉预训练的有效途径，为后续相关研究提供了新思路。
🔑 关键词速览
| 自监督学习 (SSL) | 一种无需人工标注、通过设计 pretext 任务从数据自身构造监督信号来学习表征的机器学习范式。 |
| 对比学习 | 通过拉近正样本对、推远负样本对来学习判别性表征的自监督方法。 |
| 超像素 (Superpixel) | 将图像中颜色、亮度等特征相近的相邻像素聚合而成的感知上有意义的小区域。 |
| 密集预测 (Dense Prediction) | 对图像中每个像素或每个位置都输出预测的任务，如语义分割和目标检测。 |
| mIoU / AP | mIoU 是语义分割常用的平均交并比指标，AP 是目标检测常用的平均精度指标。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅