🔥 今日值得一读 智能体攻击新范式:测试时搜索让漏洞命中率暴涨,算力越大越危险!
Rethinking Indirect Prompt Injection as a Test-Time Search Problem
arXiv AI (cs.AI) 🔥 重点 安全Agent提示注入 🕐 09-07 12:00

📖 AI 总结

该研究将间接提示注入重新定义为一种测试时搜索问题,即攻击者在由环境、用户任务和注入任务共同构成的攻击面上进行搜索。作者引入了一个具备专用搜索框架的智能体攻击者,该框架能执行环境侦察、基于结构化推理制定攻击策略,并利用受害者智能体的反馈进行自适应评估。实验发现,增加攻击者的测试时计算量能显著提升漏洞发现与利用的成功率;消融实验表明,显式的策略管理对于避免冗余搜索、维持更大计算预算下的持续收益至关重要。研究建议,智能体安全评估应同时刻画攻击者的搜索流程与计算预算,而非将攻击成功视为受害者模型与预算无关的固有属性。这项工作的意义在于,揭示了攻击者对系统攻击面的自适应搜索是工具型智能体面临的一项关键且此前未被充分认识的安全风险。

🔑 关键词速览

indirect prompt injection一种攻击方式,攻击者通过外部数据或环境间接向AI系统注入恶意指令,而非直接与用户交互。
test-time search在模型推理阶段进行的搜索过程,通过增加计算资源来探索可能的解决方案或攻击路径。
agentic attacker一个自主的AI智能体,被设计用于执行攻击任务,具备搜索、推理和适应能力。
attack surface系统或环境中可被攻击者利用的潜在入口点或漏洞集合。
victim-agent feedback受害者智能体对攻击输入的响应或行为,攻击者利用这些反馈来调整和改进攻击策略。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅