冻结大模型也能提升SAR船只识别！DOFA宏F1从34.39飙到38.56
Enhancing Foundation Models for Imbalanced SAR Ship Classification via Targeted Oversampling
📖 AI 总结
该研究针对遥感基础模型在严重长尾类别不平衡条件下的行为尚不明确这一问题，在类别分布失衡的OpenSARShip数据集上，对DOFA和SAR-JEPA两种基础模型进行了基准测试，并与ImageNet预训练基线在冻结骨干网络的训练高效协议下进行比较。为在不微调的前提下缓解不平衡，作者仅在嵌入空间对少数类施加四种过采样方法，并基于增强后的嵌入训练轻量分类头。结果显示，两种基础模型的过采样均提升了Macro-F1和测试准确率，其中DOFA配合ADASYN的Macro-F1从34.39升至38.56，SAR-JEPA配合SVM-SMOTE从25.89升至32.30。研究还给出类别级表现，指出整体提升可能与特定稀有类别的持续失败并存，并提供了可复现代码以支持在免费硬件上的快速实验。
🔑 关键词速览
| SAR | 合成孔径雷达，一种主动式微波遥感技术，能全天时全天候成像。 |
| 长尾类别不平衡 | 数据集中少数类样本极少、多数类样本极多，导致类别分布呈长尾状的问题。 |
| DOFA | 一种遥感基础模型，通过动态傅里叶适配器处理多模态遥感数据。 |
| SAR-JEPA | 一种针对SAR图像的自监督基础模型，基于联合嵌入预测架构（JEPA）预训练。 |
| ADASYN | 自适应合成采样方法，根据数据分布为少数类生成合成样本以缓解不平衡。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅