🔥 今日值得一读
免训练！I²-Med让医学视觉语言模型推理更可信，覆盖8种成像模态
I$^2$-Med: Interpretable Medical Inference through Visual-Guided Dynamic Logits Calibration
👨💼 主理人解读 · 为什么值得关注
医学多模态模型易视觉幻觉，该方法用视觉引导校准logits，提升可解释性与临床可信度。
📖 AI 总结
本文提出I²-Med框架，旨在提升医学视觉语言模型推理与解释的可信度。针对医学图像理解中视觉定位要求高、专家标注稀缺，以及模型易产生“视觉幻觉”（生成与图像不符的文本）等问题，该框架在推理阶段引入视觉引导模块，逐词检验候选词是否得到医学图像支持并与当前推理一致，据此动态调整输出分数以偏向有视觉依据的词汇，且无需额外训练或修改模型参数。研究在覆盖八种成像模态和五类临床问题的OmniMedVQA基准上开展实验，结果显示该框架能生成更具临床意义和视觉忠实度的推理链，并在标准医学VQA指标下减少视觉幻觉。其意义在于为医学多模态模型提供了一种免训练、可解释的推理增强路径，有助于提升临床应用的可靠性。
🔑 关键词速览
| I$^2$-Med | 一种可解释的医学推理框架，通过视觉引导动态调整输出分数来增强视觉忠实度，无需额外训练。 |
| 视觉幻觉 (Visual Hallucination) | 模型生成不基于给定视觉输入的文本，即文本内容与图像不符。 |
| 视觉引导模块 (Visual Guidance Module) | 在文本生成过程中检查候选词是否得到医学图像支持并与当前推理一致的模块。 |
| OmniMedVQA | 一个医学视觉问答基准数据集，涵盖多种医学成像模态和临床问题类型。 |
| 医学视觉语言模型 (Medical Vision Language Models) | 结合视觉和语言模态，用于医学图像理解和推理的模型。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅