该论文提出了一种名为“Outcome Monitors”的机制,用于检测AI代理工具调用中的“静默故障”——即工具返回格式正确但内容错误的结果(如缓存错误页或负价格),这类故障常被代理误当作有效数据消费。该机制通过从任务无关轨迹或公共模式中挖掘“结果契约”,在违反契约时保留结果并发出附带恢复工具列表的非约束性回执。在冻结的预设评估中,该方法将ToolMaze任务完成率从10.9%提升至28.1%,覆盖四个模型和两个供应商家族,并在第三个供应商中复现;在tau-bench零售场景中,两个层级的完成率分别提升14.0和12.0个百分点。对照实验表明,恢复工具列表是效果的关键成分,而诊断细节和时机无显著影响。不过,在基于已发布事故分类法的测试中,超出挖掘词汇表的检测率降至46%,但投递和完成率不受影响。研究指出,扩展检测范围至契约词汇表之外仍是待解问题。
| Outcome Monitors | 一种监控机制,用于检测工具调用结果是否违反预设的结果契约,并在违反时发出警告和恢复建议。 |
| Outcome contracts | 定义工具调用结果应满足的规范或条件,从任务轨迹或公共模式中挖掘或推导得出。 |
| ToolMaze | 一个评估基准,用于测试智能体在工具调用失败情况下的任务完成能力。 |
| tau-bench | 一个零售领域的基准测试,用于评估智能体在真实场景中的工具使用和任务完成表现。 |
| Recovery tools | 在结果契约被违反时,提供给智能体的公共工具列表,用于帮助其从失败中恢复并继续任务。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅