放射报告生成新突破!TALON自适应整合可变长度病史,既往检查越多性能越强
TALON: A Temporally Aware Longitudinal Framework for Radiology Report Generation
arXiv CL (cs.CL) 重要 医疗多模态论文方法 🕐 今天 12:00

📖 AI 总结

当前放射学报告生成模型通常仅基于单次检查或最近一次既往检查生成描述性报告,难以进行准确、有意义的纵向对比,也难以捕捉细微的间隔变化。已有方法虽开始纳入多次既往检查,但多采用固定长度历史聚合,未在融合前显式建模各次既往检查基于角色差异的相关性。为此,作者提出TALON框架,通过双通道时序融合模块,将当前检查与每次既往检查分别在相似性与变化两个互补通道上进行比较,以捕捉持续存在的征象与间隔变化,并借助通道特定注意力估计各既往检查的相关性,再通过可学习门控自适应整合有效纵向证据、抑制冗余。在MIMIC-CXR上的实验表明,TALON在多项临床效能与图结构指标上优于当前最先进方法,且随着可用既往检查增多,其表现进一步提升,显示出在更长、更复杂病史下建模纵向报告生成的优势。

🔑 关键词速览

TALON一种时间感知的纵向放射学报告生成框架,可自适应整合可变长度的患者病史。
RRG放射学报告生成,指根据医学影像自动生成文本报告的任务。
DCTFM双通道时间融合模块,通过相似性和变化两个互补通道比较当前与既往检查,以捕捉持续发现和间隔变化。
纵向比较在放射学中,指对同一患者不同时间点检查结果进行对比,以追踪病情变化。
MIMIC-CXR一个大规模公开的胸部X光影像与放射学报告数据集,常用于放射学报告生成研究。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅