肺超声自监督学习大比拼：VideoMAE准确率66.5%，MoCo仅42.1%！
Which Pretext Task Transfers? Self-Supervised Pretraining Objectives for Lung Ultrasound
📖 AI 总结
该研究系统比较了自监督学习在肺部超声中的三类预训练目标——对比学习、掩码重建与联合嵌入预测架构（JEPA），并在相同编码器、预训练语料、优化方案和冻结评估协议下进行公平对比。编码器在COVID-BLUeS视频上预训练，随后在POCUS和独立采集的Mendeley-Uganda数据集上以线性、kNN和注意力探针在多个标签预算下评估。结果显示，在POCUS线性探针全标签预算下，VideoMAE和V-JEPA分别达到66.5%和65.4%的平衡准确率，而MoCo仅为42.1%；但在Mendeley-Uganda上排名反转，MoCo以62.7%领先，V-JEPA则接近随机水平。这一反转表明，单一数据集上的探针精度不足以判断哪种预训练目标具有最佳跨数据集迁移能力，对医学影像自监督学习的评估范式提出了重要警示。
🔑 关键词速览
| 自监督学习 (SSL) | 一种无需人工标注标签，利用数据自身结构设计预训练任务来学习特征表示的机器学习范式。 |
| pretext 目标 | 自监督学习中的预训练任务目标，通过解决该任务来学习有用的数据表示。 |
| 对比学习 | 一种自监督学习方法，通过拉近相似样本的表示、推远不相似样本的表示来学习特征。 |
| 掩码重建 | 一种自监督预训练任务，通过遮盖输入数据的一部分并训练模型重建被遮盖部分来学习表示。 |
| 联合嵌入预测架构 (JEPA) | 一种自监督学习框架，在潜在空间中进行预测，而不是直接重建输入像素。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅