本文针对X射线影像报告生成领域缺乏标准化基准和通用大模型领域适配不足的问题,在新发布的CheXpert Plus数据集上构建了涵盖主流报告生成模型与大型语言模型的综合基准,为后续研究提供了可靠的比较基础和公平评估框架。在此基础上,作者提出MambaXray-PRB框架,通过多阶段大模型预训练与多模态思维链推理提升报告生成性能和模型可解释性,流程包括自监督自回归建模、X射线-报告对比学习和面向推理与报告生成的后训练优化三个阶段。在IU X-ray、MIMIC-CXR和CheXpert Plus三个数据集上的实验验证了该框架的有效性。
| Radiology Report Generation (RRG) | 放射学报告生成,指根据医学影像自动生成结构化诊断报告的任务。 |
| CheXpert Plus | 一个新发布的胸部X射线影像数据集,包含图像和报告,但缺少基线实现与评估结果。 |
| MambaXray-PRB | 本文提出的新框架,通过多阶段大模型预训练和多模态思维链推理提升X射线报告生成性能。 |
| Multi-modal Chain-of-Thought Reasoning | 多模态思维链推理,一种让模型结合图像和文本进行逐步推理以生成报告的方法。 |
| Self-supervised Auto-regressive Modeling | 自监督自回归建模,一种利用无标签数据训练模型按序列预测下一个token的预训练方式。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅