📖 AI 总结

该研究挑战了多模态大语言模型（MLLM）中对象幻觉主要源于语言先验的既有观点，提出并验证了“视觉起源幻觉”这一互补性成因——即错误视觉特征提取及图像与文本嵌入错配导致幻觉。通过余弦相似度分析和Smooth Grad-CAM熵测量，研究发现幻觉样本的图像-文本相似度显著偏低（平均0.158对比-0.122），且注意力模式反转：目标存在时注意力分散，目标缺失时反而集中。基于此，作者提出对抗性对比微调（ACFT）方法，利用对抗性幻觉属性翻转（AHAF）生成精准对齐的正负样本对进行对比学习，同时揭示MLLM视觉表征接近幻觉决策边界。ACFT仅需COCO数据集0.9%的样本，零推理开销，在POPE、MME及四个描述级幻觉基准上达到SOTA性能，适用于LLaVA、MiniGPT-4和Qwen2.5-VL等多种模型。

🔑 关键词速览