30个模型实测：决策模型遇攻击竟如此脆弱，图像扰动几乎无法迁移！
DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision
📖 AI 总结
本文提出DecisionRobust，一个用于系统评估JEV类决策模型鲁棒性的基准，覆盖文本与视觉两类输入。该基准涵盖实际决策场景及多种攻击方式，包括保持语义的文本扰动、图像扰动以及两种模态下的提示注入，并通过外部效度检验和跨模型候选筛选构建评测集。研究评估了30种文本任务模型配置和17种视觉任务模型配置，其中分别有24个和12个为未参与候选筛选的留出模型。实验发现：攻击能暴露出构建与筛选所用模型之外的脆弱性，但优化后的图像扰动即便使用多个替代模型，向多数目标迁移的效果仍然较弱；模型相对鲁棒性随任务和攻击类型而变化，对输入扰动的抵抗并不必然意味着能抵抗提示注入；标签一致性检查可显著降低文本和图像场景下测得的攻击成功率，说明验证表面失败案例十分重要。
🔑 关键词速览
| JEV | 一种新兴的决策模型，提供类型化接口，将任务指令和观察直接映射为选择、判断和评分。 |
| DecisionRobust | 一个用于系统评估决策模型在文本和视觉输入下鲁棒性的基准测试平台。 |
| 提示注入 | 一种对抗性攻击，通过在输入中注入恶意提示来操纵模型的决策输出。 |
| 标签一致性检查 | 一种验证方法，通过检查模型预测与真实标签的一致性来减少表面攻击成功率的误报。 |
| 对抗性操纵 | 通过精心设计的输入扰动或攻击来影响模型行为，使其产生错误决策。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅