结构化提示竟让Qwen3和Qwen2表现相反！
Beyond Correct Answers: How Compositional Cues Shape Visual Judgments
📖 AI 总结
该论文研究视觉问答中的视觉绑定问题，即模型能否将属性与关系正确归属到对应对象。作者指出，整体准确率的提升无法揭示结构化提示中哪些标签真正起作用、又如何相互作用。为此，研究在固定图像与陈述的条件下，跨十个模型和六项任务分离字段标签效应，发现整体准确率掩盖了模型间差异：在存在关系标签时，加入对象角色标签对Qwen3在空间任务上有帮助，却损害Qwen2的表现。研究还比较了保留或调换问题角色分配的辅助提示与无提示基线，发现Qwen3在保留提示下的优势主要源于调换提示引发的错误，保留提示本身接近基线，字段顺序也会影响损害程度。此外，更清晰的提示措辞改善了文本匹配，却未稳定提升视觉判断；直接选择图像中呈现的关系则部分减少了Qwen3和GPT-4.1-mini在部分提示下的错误。该工作揭示了组合性线索对视觉判断的细粒度影响，为理解和改进多模态模型的提示设计提供了实证依据。
🔑 关键词速览
| 视觉绑定 (Visual Binding) | 将属性或关系正确关联到图像中特定对象的过程，是视觉问答的核心挑战。 |
| 结构化提示 (Structured Prompts) | 使用带标签的字段（如对象、属性、关系）明确指定任务信息的提示形式。 |
| 字段标签效应 (Field-Label Effects) | 提示中不同字段标签（如关系标签、对象角色标签）对模型判断产生的独立影响。 |
| 辅助提示 (Auxiliary Hints) | 在问题之外提供的额外提示信息，用于引导模型关注特定角色分配或关系。 |
| 关系选择 (Relation Selection) | 让模型直接从图像中选择所显示的关系，而非依赖文本提示进行推理。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅