🔥 今日值得一读 胸部X光零样本诊断新SOTA!AlphaRAD横扫16个基准,定位分割也全破纪录
AlphaRAD: Grounded Zero-Shot Classification in Chest Radiology via $\alpha$-Corrected Binary Cross Entropy and Factorized Latent Supervision
arXiv CV (cs.CV) 🔥 重点 #医学影像#零样本#多模态 🕐 09-03 12:00
👨‍💼 主理人解读 · 为什么值得关注
利用医学报告结构化语义和修正损失,提升视觉语言模型在胸部X光片上的分类与定位能力。

📖 AI 总结

本文介绍了AlphaRAD,一种面向胸部放射学的零样本分类与空间定位方法。针对视觉-语言预训练模型在医学影像应用中存在的两个问题——对比学习中的批次内噪声,以及跨模态融合对空间定位精度的限制——作者提出两项核心贡献:一是利用大语言模型解析医学报告,构建大规模结构化医学概念空间,以α修正的二元交叉熵训练模型,使其成为医学概念判别器,从而避免启发式配对并降低学习噪声;二是提出因子化潜在监督模块,将视觉-语言表征分解为独立子空间并施加对齐监督,在不增加参数的前提下提升空间定位表达能力。实验表明,AlphaRAD在16个分类基准上取得平均最优性能,并在7个定位/短语定位及3个分割数据集上分别刷新最优结果,展现出较强的零样本泛化能力。

🔑 关键词速览

Vision-Language Pretrained Models (VLPMs)视觉-语言预训练模型,通过大规模图像-文本对预训练,实现跨模态理解。
AlphaRAD本文提出的模型,利用α校正二元交叉熵和因子化潜在监督进行胸部放射学零样本分类。
α-Corrected Binary Cross-Entropy一种改进的二元交叉熵损失函数,通过α校正因子优化训练,用于医学概念判别。
Factorized Latent Supervision (FLaS)一种跨模态特征融合模块,将表示分解为独立子空间并施加对齐监督,增强空间定位。
Zero-shot classification零样本分类,指模型在未见过的类别上进行分类,无需额外训练样本。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅