准确率认证失效：多智能体团队中错误相关让部署风险翻倍！
Smart Alone, Blind Together: Why Accuracy Fails to CertifyTheory of Mind in Multi-Agent Teams
📖 AI 总结
这篇论文质疑了多智能体协作中一个常见做法：用推断准确率来认证协调模块是否可靠。作者指出准确率作为认证标准存在两个根本缺陷：一是行动所需的准确率取决于错误行动的代价，因此标准应由具体部署场景决定而非模块本身；二是模块间的错误往往不独立，且依赖关系有方向性，正相关错误在损害重叠时有益、在损害叠加时有害，导致准确率阈值会朝可预测的方向失效。研究在任务分配、Level-Based Foraging和Hanabi三类任务中，通过注入错误、训练模块、贝叶斯模块及五种语言模型进行验证，发现准确率在两个方向上都会出错：在Hanabi中因共享错误叠加而放行有害的语言模型部署，在任务分配中因高代价错误稀少而拒绝有益的部署。实验还显示准确率远不能带来独立性所预期的冗余效果，例如三个观察者同时误读的概率仅从16%降至9%，远高于独立性假设下的3.4%至0.15%。为此作者提出认证部署而非模块的Blind-Spot Gate方法，在留出数据和预注册测试中均显著优于准确率标准。
🔑 关键词速览
| Theory of Mind (ToM) | 心理理论，指智能体推断队友信念、意图等心理状态的能力。 |
| Blind-Spot Gate | 盲点门控，一种在不部署模块的情况下，通过错误代价、成对交互和实测依赖性来认证部署的机制。 |
| Level-Based Foraging | 基于层级的觅食，一种多智能体协作任务环境，智能体需合作收集食物。 |
| Hanabi | 花火，一种经典的多智能体合作卡牌游戏，强调不完全信息下的协调。 |
| Error Dependence | 错误依赖性，指多个模块的错误之间并非独立，而是存在正相关或负相关的关联。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅