这篇论文指出,随着AI代理系统自主性不断增强,其带来的风险也日益显著。尽管“人类参与监督”常被提出作为解决方案,但作者认为这一方案并不可行:当前AI代理的设计方式不仅阻碍了有效的监督,而且长期使用AI系统本身也会削弱人类所需的认知监督能力。文章主张,AI代理的发展应将支持人类监督者的情境目标和认知需求置于与提升AI能力同等重要的位置。为此,作者结合自动化与人机交互研究,提出了设计层面的支持机制和组织协议,以帮助监督者行使批判性判断,并缓解因长期依赖自动化而产生的技能退化。论文呼吁开发者和部署者采纳此类方案,否则AI代理系统将持续被动地侵蚀其赖以运行的人类技能。
| AI agents | 指能够自主执行任务、做出决策的人工智能系统,如智能助手或自动化程序。 |
| human in the loop | 一种设计理念,强调在AI系统中保留人类参与和监督的环节,以确保安全与责任。 |
| human oversight | 人类对AI系统行为的监控和干预,旨在防止错误或有害结果。 |
| skill atrophy | 因长期依赖自动化或AI系统而导致的人类技能退化或丧失。 |
| affordances | 设计上提供的操作可能性或提示,使用户能够直观地理解和使用系统功能。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅