CAPTOR是一种面向肿瘤学胸腹盆(CAP)CT解读的视觉-语言基础模型,采用对比学习框架,在来自北美、欧洲和亚洲的多中心回顾性数据集上进行预训练,数据以肿瘤病灶检查为主,支持单序列或多序列采集。模型在25,512对CT-报告数据上训练,并在10,794对数据上测试。在疾病检测、生存预测和图像检索三项下游任务中,CAPTOR全面超越现有CT基础模型:在CAP子集分类任务中AUC达0.767,优于次优模型的0.695;在肿瘤学子集中AUC为0.784,同样显著领先;在四项肿瘤预后基准中三项排名第一,并在CAP及肿瘤子集的检索任务中表现最优。研究表明,基于肿瘤学富集的CAP CT数据训练的基础模型在其目标临床场景中具有明显优势,凸显了临床对齐预训练策略的重要性。研究团队已公开预处理、训练与推理代码及模型权重。
| CAPTOR | 一种用于肿瘤学胸腹盆 CT 解读的对比式视觉-语言基础模型,通过大规模 CT-报告对预训练获得通用表征能力。 |
| 视觉-语言基础模型 | 同时学习图像与文本表征的大规模预训练模型,可迁移至多种下游医学影像任务。 |
| 对比学习 | 通过拉近匹配的图像-文本对、推远不匹配对的表征来训练模型,是视觉-语言预训练的核心策略。 |
| TumorImagingBench | 用于评估肿瘤影像模型在疾病检测、生存预测等任务上性能的基准测试集合。 |
| AUC | ROC 曲线下面积,衡量分类模型区分正负样本能力的常用指标,取值 0.5 至 1,越大越好。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅