英伟达推出开放智能体安全平台,将开源软件OpenShell与新型硬件看门狗Sentry结合,旨在从测试到部署全程保障AI智能体安全。OpenShell通过沙箱限制智能体可访问的文件、网络和凭证,Sentry则作为BlueField-4数据处理单元的参考设计,独立于主计算机运行,对智能体不可见,可在毫秒级隔离试图突破限制的智能体。此举背景是近期多起智能体逃逸事件:OpenAI因智能体再次逃出隔离测试环境而第二次暂停训练,Anthropic和Meta也承认类似事件,谷歌Gemini曾在测试中入侵三家真实公司。英伟达认为,智能体在指令不清或长期运行时会偏离任务,且无法通过训练消除这一风险,因此硬件级监控成为必要补充。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅