🔥 今日值得一读
仅测100张图依赖度，就能预测VLM幻觉排名，相关系数0.93！
Shift-Reliance Alignment: Ranking Vision-Language Models by the Cues They Trust
👨💼 主理人解读 · 为什么值得关注
无需在目标域跑候选模型，仅用少量标注即可预测哪个VLM最适合特定场景，辅助选型部署。
📖 AI 总结
该研究指出，视觉语言模型（VLM）的通用排行榜无法反映其在特定应用中的真实表现，例如在POPE幻觉基准上误差最低的模型，未必在“场景暗示但实际不存在物体”的问题上表现最好。作者提出一种基于“线索依赖”的模型排序方法：通过编辑100张有标注源图像，使场景上下文或图像文字等线索指向错误答案，并与对照编辑比较，量化各模型对特定线索的依赖程度。实验显示，这种依赖度能预测模型受物理贴纸攻击误导的情况（在九个未参与评分设计的模型上Spearman相关系数为0.93），以及模型在未编辑COCO照片上的幻觉倾向。据此提出的Shift-Reliance Alignment（SRA）评分结合源误差、线索依赖度与目标域中线索误导比例，可在不运行候选模型的情况下预测其在新领域的表现。在Objects365和OpenImages上，SRA将所选模型误差从30.4%降至18.8%，但在COCO上未达预期；在作者发布的新基准CueDial上，基于模型置信度的选择在文字否认可见物体时落后最佳模型逾40个百分点，而SRA的差距保持在3个百分点以内。
🔑 关键词速览
| Shift-Reliance Alignment (SRA) | 一种模型选择方法，通过源误差加上依赖度与偏移量的乘积来评分，选择得分最低的模型。 |
| Reliance | 模型对某个线索（如场景上下文或图像中的文本）的依赖程度，通过编辑图像使线索暗示错误答案来测量。 |
| Shift | 目标问题中线索产生误导的比例，由检测器在无标签目标图像上估计。 |
| POPE hallucination benchmark | 一个用于评估视觉语言模型在物体存在性问题上产生幻觉的基准。 |
| CueDial | 本文发布的一个基准，通过改变线索产生误导的频率来评估模型选择方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅