MOSAIC让VLM归因精确到图像区域和文本短语，特征更局部连贯还不掉性能！
Cross-Modal Latent Influence: Patch-Level Training Sample Attribution for Vision-Language Models
📖 AI 总结
该研究针对视觉语言模型预测归因仅停留在样本层面的局限，提出MOSAIC方法，通过多模态正交化稀疏自编码器学习共享的图像—文本稀疏潜空间，使概念在单模态内稀疏、对应连续图像区域、与描述短语对齐且近似去相关，再借助EK-FAC将训练样本影响分解至具体文本短语与图像区域。作者在Qwen和Gemma上，围绕图像描述、胸部X光理解和视觉问答任务进行评估，发现所学特征更具局部性与连贯性且不损害任务表现；按影响排序消融潜变量对模型输出的改变，大于按激活或频率排序的消融。研究还发现视觉证据能显著重组训练数据归因，同时保留更多共享潜结构，从而将模型行为来源与承载影响的多模态证据联系起来。
🔑 关键词速览
| MOSAIC | 一种多模态正交化稀疏自编码器方法，用于在视觉-语言模型中实现特征级影响归因。 |
| Vision-Language Model (VLM) | 视觉-语言模型，能够同时处理图像和文本输入并生成预测的深度学习模型。 |
| Sparse Autoencoder | 稀疏自编码器，一种神经网络，学习稀疏的潜在表示以提取可解释的特征。 |
| EK-FAC | 一种基于特征分解的近似曲率方法，用于高效估计影响函数。 |
| Latent Influence | 潜在影响，指通过模型内部潜在特征中介的训练样本对预测的影响。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅