🔥 今日值得一读
视觉上下文决定安全判断！ContraSafe-VL对比数据集让VLM安全又不过度拒绝
ContraSafe-VL: A Contrastive Safety Preference Dataset for Vision-Language Models
👨💼 主理人解读 · 为什么值得关注
提供多模态安全偏好数据，帮助VLM同时减少不安全回答和过度拒答，可直接用于安全微调。
📖 AI 总结
该论文提出ContraSafe-VL，一个面向视觉语言模型（VLM）的对比式安全偏好数据集，旨在解决多模态安全对齐中安全性与过度拒答难以平衡的问题。作者指出，现有数据集多采用响应偏好范式，只教模型如何回答，却缺乏对视觉语境如何影响安全判断的直接监督，导致模型或忽视安全相关的视觉内容，或过度解读敏感图像。ContraSafe-VL针对同一文本查询构造成对视觉语境，使多模态查询获得不同安全标签，从而直接监督视觉信息如何参与安全判断，并基于无害性与有用性提供响应偏好对。在三种VLM架构和多个基准上的实验表明，使用该数据集训练可提升跨模态安全识别能力，在保持通用多模态能力的同时取得更好的安全与过度拒答权衡。数据集将公开释放。
🔑 关键词速览
| Vision-Language Models (VLMs) | 同时处理视觉和文本输入的多模态模型，如GPT-4V、LLaVA等。 |
| 多模态安全对齐 | 使视觉语言模型在图文联合输入下输出安全、符合人类价值的内容。 |
| 过度拒绝 | 模型对无害或敏感但安全的请求错误地拒绝回答，损害有用性。 |
| 对比安全偏好数据集 | 通过成对视觉上下文构造不同安全标签的样本，直接监督安全判断的数据集。 |
| 回复偏好范式 | 通过比较不同回复的优劣来训练模型，但较少直接监督安全判断依据。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅