隐藏ECG损失恢复49%，FedCoRe补全多模态医疗数据缺口！
FedCoRe: Target-Adaptive Completion for Missing Modalities in Healthcare Federated Learning
👨💼 主理人解读 · 为什么值得关注
FedCoRe通过跨模态表示补全解决医疗联邦学习中模态缺失问题，适配不同医院数据差异，提升模型泛化。
📖 AI 总结
本文提出了一种名为FedCoRe的联邦学习框架，用于解决医疗场景中多模态数据缺失的问题。研究背景是不同医院在电子健康记录、胸部X光片和心电图等模态的获取能力上存在差异，而传统联邦多模态模型假设各参与方拥有全部模态。该研究基于MIMIC数据集构建呼吸恶化预测任务，通过模拟联邦客户端验证方法有效性。FedCoRe的核心创新在于学习表征空间或逻辑空间的修正，而非生成合成数据。当客户端观察到部署时可能缺失的模态时，通过对比有无该模态的预测结果获得配对监督信号，仅由拥有配对样本的客户端更新补全模块。实验结果显示，隐藏心电图导致AUROC下降约0.085，配对样本联邦平均可恢复其中49.0%的性能损失；在胸部X光片缺失场景下，效果感知补全能恢复52.8%的损失。研究强调FedCoRe应被视为验证门控的补全框架，仅在配对样本和验证证据支持时才部署，而非通用的模态恢复方案。
🔑 关键词速览
| FedCoRe | 联邦跨模态表示补全，一种在联邦学习中通过表示或逻辑空间修正来处理缺失模态的方法。 |
| Federated Multimodal Models | 联邦多模态模型，指在联邦学习框架下整合多种数据模态（如文本、图像、信号）的模型。 |
| AUROC | 受试者工作特征曲线下面积，衡量分类模型性能的指标，值越高表示性能越好。 |
| Paired-Example FedAvg | 成对示例联邦平均，一种利用同一示例在有/无特定模态下的成对监督来更新模型的方法。 |
| Validation-Gated Completion | 验证门控补全，指仅在验证证据支持时启用补全模块的机制，以避免不适当的部署。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅