🔥 今日值得一读 Archestra推出OpenAPPA,专防提示词注入和模型幻觉导致的数据外泄!
Archestra 发布 OpenAPPA,用于防范提示词注入或模型幻觉引发的数据外泄
InfoQ 中文 🔥 重点 安全对齐大模型Agent 🕐 10-16 01:22

📖 AI 总结

Archestra 发布开源安全引擎 OpenAPPA,用于防范提示词注入或模型幻觉引发的数据外泄。该引擎运行于智能体提示词与执行循环之外,通过确定性规则强制执行数据访问控制,避免依赖概率化分类器。在 Bench-Corp 与 AgentThreatBench 测试中,其攻击成功率为零,显著优于 Claude Auto-Mode 的 10% 和微软 FIDES 的 31%。OpenAPPA 基于智能体权限策略代数,通过单一配置文件定义数据源、访问对象、信任等级与权限主体,并利用格代数实现标签的单调组合,确保策略只趋严格。每个工具契约声明 requires、delta 与 effects 属性,支持跨工具调用的数据流追踪。该方案旨在平衡严格强制执行与运营实用性,为 AI 安全工程师和企业级智能体系统提供可审计的防护路径。

🔍 深度解读 换个视角,同一件事有不同答案

正在读取芙娘的解读…
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅