🔥 今日值得一读 人类一句话锁死AI智能体,9大模型实测:模糊指令大减,权威衰减被治住
Structured Authority Injection: Persistent Human Control for LLM Agents via Typed MCP Overrides
arXiv AI (cs.AI) 🔥 重点 Agent安全对齐论文方法 🕐 今天 12:00

📖 AI 总结

该论文针对LLM智能体在分布式与多智能体系统中作为自主编排者时缺乏协议级人类控制机制的问题,提出结构化权威注入(SAI)方法。现有自由文本指令存在解释歧义和权威随上下文累积而衰减的缺陷。SAI通过类型化、模式校验的MCP工具调用传递操作者修正,并在每次提示前附加排序后的权威上下文,定义约束、优先级和策略三类覆盖及其持久化语义与显式优先顺序,且无需模型微调或访问权重。在九个LLM和八种针对智能体失效模式的场景中评估,结果显示歧义指令解释减少、跨规划迭代的权威衰减得到缓解,最强模型提示开销最多降低38%,但收益因模型和场景差异较大。该工作为需要显式持久人类控制的智能体系统提供了通用设计模式。

🔑 关键词速览

Structured Authority Injection (SAI)一种通过类型化、模式验证的MCP工具调用注入人类操作员指令的协议,旨在解决自由文本覆盖的模糊性和权威衰减问题。
Model Context Protocol (MCP)一种用于LLM智能体的协议,允许通过工具调用与外部系统交互,SAI利用其类型化和模式验证特性来路由操作员修正。
Typed MCP Overrides通过MCP工具调用传递的、具有明确类型和模式验证的覆盖指令,用于替代自由文本覆盖以减少解释歧义。
Authority Decay指操作员指令在LLM上下文累积过程中影响力逐渐减弱的现象,SAI通过维护排序权威上下文来缓解此问题。
Directed Authority ChannelSAI中用于强制执行覆盖类别优先级顺序的专用通道,规划过程无法访问,确保权威指令的持久性和明确性。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅