HERO用5亿切片训练，39个临床任务排名第一，对扫描仪和染色变化更鲁棒！
HERO: Histology Encoder for Robust Representation in Oncology
📖 AI 总结
本文介绍了一个面向肿瘤学的病理基础模型HERO（Histology Encoder for Robust Representation in Oncology）。针对现有病理基础模型在临床应用中常因医院、扫描仪和染色方案差异而产生嵌入偏差的问题，作者提出应将鲁棒性作为模型比较的核心维度。HERO基于ViT-G/14架构，采用DINO与iBOT目标训练，并在约57.5万张临床全切片图像、5亿个形态学均衡的图像块上进行高分辨率Gram锚定优化。评测结果显示，HERO在中心、扫描仪和染色差异下均表现出优于同类先进模型的鲁棒性，在图像块级分类、分割和基因表达预测上性能相当，在39项切片级临床任务中平均排名第一，并在六个基准框架的等权分析中取得最佳平均排名。该工作为病理基础模型的安全临床落地提供了兼顾表征质量与采集鲁棒性的新方案。
🔑 关键词速览
| HERO | 一种用于肿瘤学鲁棒表征的组织学编码器，是基于ViT-G/14的病理基础模型。 |
| ViT-G/14 | 一种大型视觉Transformer模型，具有约10亿参数，使用14x14像素的图块。 |
| DINO | 一种自监督学习方法，通过自蒸馏进行无标签训练，学习强大的视觉表征。 |
| iBOT | 一种自监督学习目标，通过掩码图像建模和在线令牌蒸馏来学习表征。 |
| Gram anchoring | 一种正则化技术，通过匹配特征图的Gram矩阵来保持高分辨率下的表征质量。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅