🔥 今日值得一读
12个智能体跑936个任务，泄露率最高94.4%！
AgentCIScope: Grounded Contextual Integrity Evaluation for LLM Agents
👨💼 主理人解读 · 为什么值得关注
可用来评估你的智能体在邮件、文档等应用中读写敏感数据时是否违反情境披露约束，排查隐私风险。
📖 AI 总结
本文提出 AgentCIScope，一个用于评估大语言模型智能体上下文完整性（Contextual Integrity）的统一平台与基准。该研究将公开及合成的隐私案例转化为可执行的多步智能体任务，并依据隐私政策、基于角色的协议以及敏感属性分类三项标准设定信息披露约束。基于该平台，作者在 936 项任务上评估了 12 个智能体，发现强大的任务完成能力并不能保证上下文完整性的维护：单次运行的泄露率介于 32.5% 至 94.4% 之间，而将每项任务重复五次后，泄露率进一步上升 4 至 19 个百分点。泄露情况在不同属性、环境和隐私政策间差异显著，例如个人偏好与预订详情的平均泄露率分别高达 84.7% 和 76.5%，而信用卡信息与社保号码仅为 17.1% 和 29.4%；日历作为信息源泄露率最高，WhatsApp 作为信息目的地排名最高。该工作为理解智能体隐私泄露提供了深入洞察，并为开发隐私保护型智能体提供了统一测试平台。
🔑 关键词速览
| Contextual Integrity (CI) | 语境完整性，指信息流是否符合特定语境下的披露规范，是隐私评估的核心框架。 |
| LLM Agents | 基于大语言模型的智能体，能够通过工具调用与环境交互并执行多步任务。 |
| AgentCIScope | 本文提出的统一平台与基准，用于在真实应用环境中评估智能体层面的语境完整性。 |
| Disclosure Constraints | 披露约束，规定信息在特定语境下是否可以共享或传播的规则。 |
| Sensitive-Attribute Taxonomy | 敏感属性分类体系，用于系统化定义和归类需要保护的隐私数据类别。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅