该论文针对具备自主决策能力的AI智能体在安全性、对齐、问责与人类监督方面带来的挑战,指出现有“人在回路”(HITL)与负责任AI方法虽奠定基础,但在系统设计、治理与运营部署上仍较为分散。作者提出“三支柱”(3P)模型与框架,以透明性、问责性和可信性为核心,构建安全可信AI智能体的开发路径。框架强调通过渐进式验证、结构化人类监督和可审计的运营控制,逐步提升智能体自主性,并支持智能体生命周期监控、决策可追溯、升级管理与人类—智能体协作。其意义在于将监督原则与运营机制整合,为企业环境部署既符合人类意图又能受控提升自主性的AI智能体提供实践基础。
| Three-Pillar (3P) model | 一种以透明度、问责制和可信度三大支柱为核心的AI智能体治理框架模型。 |
| Human-in-the-Loop (HITL) | 在AI系统决策过程中引入人类参与和监督的机制。 |
| AI agents | 能够自主感知环境、做出决策并采取行动以实现目标的人工智能系统。 |
| agent autonomy | AI智能体在无需人类干预的情况下独立执行任务和做出决策的能力程度。 |
| decision traceability | 对AI智能体决策过程进行记录和追踪,以便审计和解释的能力。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅