放射学人工智能长期受限于任务专用、依赖大量标注数据且难以应对域偏移的问题。该研究提出nnFoundation,包含互补的卷积与Transformer两类3D放射学基础模型,在人类放射组计划框架下,基于来自125个机构及公开数据集的210万例CT、MRI和PET图像体数据完成训练。研究在涵盖分割、检测、分类、报告生成和图像检索的108项任务上进行评估,并纳入域偏移、外部机构验证以及低数据与低算力场景。结果显示,两类nnFoundation模型在所有任务类型上均持续优于现有方案,表明大规模3D基础模型可同时提升跨任务迁移能力与数据效率,为放射学通用AI奠定基础。
| nnFoundation | 本文提出的互补卷积与 Transformer 3D 放射学基础模型系列,基于 210 万医学图像体训练。 |
| Foundation Models | 在大规模数据上预训练、可迁移到多种下游任务的通用模型。 |
| Domain Shift | 训练数据与测试数据分布不一致导致模型性能下降的现象。 |
| nnU-Net | 一种自适应医学图像分割框架,本文将其作为 nnFoundation 的集成平台之一。 |
| nnDetection | 一种自适应医学目标检测框架,本文将其作为 nnFoundation 的集成平台之一。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅