VLM否定理解大翻车：注意力模式竟与人类完全不同！
Probing Negation Understanding in Vision-Language Models With Object Attention
📖 AI 总结
该研究探讨视觉语言模型（VLM）如何处理否定表达，通过分析不同模型的注意力模式，并将其与人类注视行为进行对比。研究在二元和多元设定下，使用合成与真实数据集，比较了对象级模型注意力与人类眼动注视。核心发现是：模型在解决否定时通常不遵循类人注意力模式，暗示其依赖注意力之外的机制。层间分析显示PaliGemma2-3B在否定下会将对象注意力转向替代对象，但头级消融表明这只是副产品而非否定处理机制；LLaVA-1.5-7B则表现出对左侧对象的空间偏好。下游任务评估显示，所有模型在肯定与否定问题上均存在性能差距，凸显了深入理解否定处理机制以缩小该差距的必要性。
🔑 关键词速览
| Vision-Language Models (VLMs) | 视觉语言模型，能同时处理图像和文本的多模态模型。 |
| Negation | 否定，语言中表达否定意义的语法结构，如“不”、“没有”。 |
| Attention Patterns | 注意力模式，模型在处理输入时分配注意力的方式。 |
| Human Gaze | 人类注视，人在观察时眼睛停留的位置和移动轨迹。 |
| Headwise Ablations | 逐头消融，一种通过禁用注意力头来研究其功能的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅