🔥 今日值得一读 GPT Image 2被攻破68%、Qwen达91%!跨模态越狱攻击撕开图像编辑安全缺口
When the Editing Intent Is Split: A Cross-Modal Jailbreak Attack for Large Image Editing Models
arXiv CV (cs.CV) 🔥 重点 #安全对齐#越狱攻击#图像编辑 🕐 今天 12:00
👨‍💼 主理人解读 · 为什么值得关注
揭示文本与视觉分工藏匿有害意图的攻击方式,可用于红队测试和加固图像编辑模型安全。

📖 AI 总结

该论文研究大型图像编辑模型在同时接收文本与视觉输入时存在的安全隐患。作者提出“分裂意图越狱攻击”(SIJA),将不安全编辑意图拆分:文本仅指定编辑对象,而将安全敏感的动作与细节隐藏在辅助视觉线索中,使模型在联合推断时还原完整意图并执行,但现有安全机制难以识别其危害。为系统评估该威胁,作者构建了分裂意图图像编辑安全基准SI2ESBench。实验显示,SIJA对代表性商业与开源模型均有效,在GPT Image 2上攻击成功率达68.28%,在Qwen-Image-3.0-Pro上达91.38%。研究揭示了多模态编辑与安全评估之间的错位,并提出“编辑意图重建”防御原则,即评估多模态上下文联合隐含的完整变换而非孤立输入,可显著提升对分裂意图攻击的拒绝率。该工作凸显了现代图像编辑系统的跨模态安全缺口。

🔑 关键词速览

Split-Intent Jailbreak Attack (SIJA)一种越狱攻击方法,将有害编辑意图非对称地分布在文本和视觉模态中,以绕过安全检测。
Split-Intent Image Editing Safety Benchmark (SI2ESBench)用于评估图像编辑模型在分裂意图输入下安全性的基准测试集。
Attack Success Rate (ASR)攻击成功率,衡量越狱攻击成功诱导模型执行有害编辑的比例。
Editing-Intent Reconstruction一种防御原则,通过显式评估联合多模态上下文所隐含的完整变换来识别和拒绝分裂意图攻击。
Cross-Modal Safety Gap指多模态模型在联合理解输入时,安全评估未能覆盖分布式意图所导致的安全漏洞。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅