ServiceNow提出,企业对行为失控的AI代理应采取有分寸的应对方式,而非简单“一键关停”。该公司负责AI平台安全产品的副总裁Bhakti Pitre指出,是否暂停或撤销代理权限,需结合其承担的业务职能与风险等级综合判断:仅停止产出结果的代理或许只需暂停调查,而若一个仅有10%折扣权限的代理遭提示注入后开始给出100%折扣,则必须立即切断。ServiceNow将AI治理归纳为发现、观察、治理、保护与衡量五个步骤,并借助Veza的身份安全技术调整过度权限,同时与Okta合作保护代理会话令牌与身份。其核心主张是,代理管控必须建立在业务上下文之上,且需要全行业协作,因为没有任何单一厂商能看清代理触及的所有层面。
AI代理(Agent)自主性引发的失控风险成为行业焦点,从安全研究议题演变为企业AI落地的实际治理问题,凸显AI安全与商业化的张力。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅