🔥 今日值得一读
多模态ICL准确率飙升5.6%，ProCoRe不靠ICL数据也能超越SOTA！
Visual Grounding First, Multimodal In-context Learning Follows
👨💼 主理人解读 · 为什么值得关注
揭示多模态ICL失败主因是视觉定位，开发者可据此改进MLLM少样本推理而无需额外训练。
📖 AI 总结
该研究聚焦多模态大模型（MLLM）的上下文学习（ICL）能力扩展问题。作者指出，以往多模态ICL方法依赖专用数据集进行额外训练或任务向量提取，虽能在适配的基准上提升表现，却难以泛化到其他基准，还会导致已掌握任务的能力退化。研究将“视觉定位”识别为多模态ICL的关键瓶颈：模型往往忽视示例中与任务相关的视觉证据，过度依赖文本线索并产生幻觉输出。为此，作者提出ProCoRe方法，通过对多模态对比数据进行对比强化学习来增强视觉定位能力，具体做法是为对比图像对生成描述、分解为命题，并优化对比奖励以促使描述与对应图像对齐、与不匹配图像区分。实验显示，尽管ProCoRe从未接触ICL格式的训练样本，其在Qwen-VL-3-8B基础上将多模态ICL分类平均准确率提升5.6%，描述任务ROUGE-L提升13.8%，跨基准优于依赖ICL数据的现有方法。研究还提出PICL个性化多模态ICL描述基准，用于检验模型是否真正理解视觉示例而非依赖预训练语义先验。
🔑 关键词速览
| 视觉接地 (Visual Grounding) | 指模型将语言表达与图像中的具体视觉区域或对象正确关联的能力。 |
| 多模态上下文学习 (Multimodal In-context Learning) | 在包含图像和文本的演示示例条件下，让多模态大模型无需参数更新即可完成新任务的学习范式。 |
| 对比强化学习 (Contrastive Reinforcement Learning) | 利用对比数据构造奖励信号，通过强化学习优化模型使输出与正确图像对齐、与错误图像分离的方法。 |
| ProCoRe | 本文提出的方法，通过生成描述、分解命题并优化对比奖励来增强多模态大模型的视觉接地能力。 |
| PICL | 本文提出的个性化多模态上下文学习描述基准，用于检验模型是否真正理解视觉演示而非依赖语义先验。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅