用规范颜色作为探针,研究视觉编码器与VLM中概念可解码性。
| canonical color | 规范颜色,指物体在典型情况下呈现的标准颜色,如香蕉的黄色。 |
| vision encoder | 视觉编码器,将图像输入转换为向量表示以供模型处理的组件。 |
| Vision-Language Models (VLMs) | 视觉-语言模型,能够同时处理图像和文本信息的模型。 |
| decodability | 可解码性,指信息能否从模型表示中被线性分类器或探针提取出来的程度。 |
| linear probe | 线性探针,一种用于测试表示中信息线性可分性的简单分类器。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅