视觉编码器竟能“脑补”颜色?灰度图也能解码出物体本色!
Canonical Color as a Lens into Concept Decodability in Vision Encoders and VLMs
arXiv AI (cs.AI) 重要 #多模态#可解释性#视觉编码器 🕐 09-08 12:00

📖 摘要

用规范颜色作为探针,研究视觉编码器与VLM中概念可解码性。

🔑 关键词速览

canonical color规范颜色,指物体在典型情况下呈现的标准颜色,如香蕉的黄色。
vision encoder视觉编码器,将图像输入转换为向量表示以供模型处理的组件。
Vision-Language Models (VLMs)视觉-语言模型,能够同时处理图像和文本信息的模型。
decodability可解码性,指信息能否从模型表示中被线性分类器或探针提取出来的程度。
linear probe线性探针,一种用于测试表示中信息线性可分性的简单分类器。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅