🔥 今日值得一读 多中心数据训练,CAPTOR肿瘤CT基础模型AUC达0.767!
CAPTOR: a vision-language foundation model for Chest-Abdomen-Pelvis Oncologic CT
arXiv CV (cs.CV) 🔥 重点 #医学影像#视觉语言模型#基础模型 🕐 今天 12:00
👨‍💼 主理人解读 · 为什么值得关注
开发者可将其用于肿瘤CT解读与报告生成,提升临床辅助诊断。

📖 AI 总结

CAPTOR是一种面向肿瘤学胸腹盆(CAP)CT解读的视觉-语言基础模型,采用对比学习框架,在来自北美、欧洲和亚洲的多中心回顾性数据集上进行预训练,数据以肿瘤病灶检查为主,支持单序列或多序列采集。模型在25,512对CT-报告数据上训练,并在10,794对数据上测试。在疾病检测、生存预测和图像检索三项下游任务中,CAPTOR全面超越现有CT基础模型:在CAP子集分类任务中AUC达0.767,优于次优模型的0.695;在肿瘤学子集中AUC为0.784,同样显著领先;在四项肿瘤预后基准中三项排名第一,并在CAP及肿瘤子集的检索任务中表现最优。研究表明,基于肿瘤学富集的CAP CT数据训练的基础模型在其目标临床场景中具有明显优势,凸显了临床对齐预训练策略的重要性。研究团队已公开预处理、训练与推理代码及模型权重。

🔑 关键词速览

CAPTOR一种用于肿瘤学胸腹盆 CT 解读的对比式视觉-语言基础模型,通过大规模 CT-报告对预训练获得通用表征能力。
视觉-语言基础模型同时学习图像与文本表征的大规模预训练模型,可迁移至多种下游医学影像任务。
对比学习通过拉近匹配的图像-文本对、推远不匹配对的表征来训练模型,是视觉-语言预训练的核心策略。
TumorImagingBench用于评估肿瘤影像模型在疾病检测、生存预测等任务上性能的基准测试集合。
AUCROC 曲线下面积,衡量分类模型区分正负样本能力的常用指标,取值 0.5 至 1,越大越好。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅