CNRF让VLM防御成功率达89%，还能保住正常任务效用！
Counterfactual Neighborhood Risk Fields: Evidence-Grounded Selective Safety for Vision-Language Models
📖 AI 总结
该研究针对视觉语言模型安全防御中"仅区分有害与无害不足以说明风险分数的含义及可信度"这一问题，提出反事实邻域风险场（CNRF）框架。CNRF通过构建上下文匹配的有害—无害反事实样本对，将其表征差异作为与能力相关的风险方向，并将邻域支持度与风险程度分开估计，从而避免把陌生输入误判为有害，实现选择性干预而非一概拒绝。该框架还设计了面向不同模型架构的受害者自适应接口，对筛选出的请求进行同受害者响应审查，或放行可接受候选，或生成有害能力受限的替代响应。在三种视觉语言模型和五类多模态越狱攻击上的实验显示，CNRF取得86.06%至89.30%的宏观防御成功率，同时保留可观的良性任务效用。该工作将基于表征的视觉语言模型安全从学习有害性边界转向构建可用于选择性风险决策的证据。
🔑 关键词速览
| Counterfactual Neighborhood Risk Fields (CNRF) | 一种基于证据的选择性视觉语言模型安全框架，通过构建反事实对并分离风险与邻域支持来实现风险决策。 |
| Vision-Language Models (VLMs) | 视觉语言模型，能够同时处理图像和文本输入并生成文本输出的多模态模型。 |
| Selective Safety | 选择性安全，指模型不是一概拒绝所有潜在风险请求，而是根据证据选择性地进行干预或释放。 |
| Multimodal Jailbreak | 多模态越狱，指通过精心设计的图像和文本组合绕过视觉语言模型安全限制的攻击方式。 |
| Macro Defense Success Rate | 宏观防御成功率，衡量模型在所有攻击类别上平均成功防御的比例。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅