🔥 今日值得一读
MLLM幻觉真相被揪出！协同头信息偏移才是元凶，HEAL精准校准大幅减少幻觉
MLLMs Hallucinate when Information Distribution Drifts in Synergy Heads
👨💼 主理人解读 · 为什么值得关注
可用于定位MLLM幻觉来源的头级因果信号，帮助开发者做更精准的推理校准与幻觉抑制。
📖 AI 总结
该研究针对多模态大语言模型（MLLMs）的幻觉问题，提出了一种名为HEAL的头部级信息解耦与校准方法。现有基于注意力的缓解手段依赖注意力权重等间接信号，难以准确反映幻觉生成背后的真实信息偏移。HEAL首先通过因果噪声干预过滤掉因果冗余的注意力头，再利用反事实双重差分法对剩余头内的信息分布进行解耦，将其划分为四种类型。分析发现，幻觉的产生源于协同头中信息分布偏离健康均衡状态，而与模态特异性头的数量或强度关联不大。基于此，HEAL向协同头的值向量注入动态信息校准因子，主动调节视觉与语言依赖关系，引导输出分布回归事实证据。实验表明，该方法在多个MLLMs上均能有效减少幻觉，为提升模型可信度提供了简洁且可解释的路径。
🔑 关键词速览
| MLLMs | 多模态大语言模型，能够同时处理文本、图像等多种模态信息的大规模语言模型。 |
| 幻觉 | 模型生成与输入事实不符或凭空捏造的内容的现象。 |
| HEAL | 本文提出的头部级信息解耦与校准方法，用于识别和缓解多模态大语言模型中的幻觉。 |
| 协同头 | 在多头注意力中，信息分布偏离健康平衡时会导致幻觉的注意力头类型。 |
| 反事实双重差分 | 一种因果推断方法，通过比较处理组和对照组在干预前后的差异来解耦信息分布。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅