仅看最终记录，6.5-12%的银行助手“假成功”！新基准TauIndianBankBench用1000个任务揪出跳过步骤的模型
TauIndianBankBench: Procedure-Aware, Action-Oriented Evaluation of Tool-Using Conversational Agents
📖 AI 总结
这篇论文提出TauIndianBankBench，一个面向印度零售银行业的工具调用对话智能体评测基准，包含1000个模拟客服任务，要求助手在帮助客户完成销卡、关闭存款等请求时严格遵循银行规定的操作流程。现有基准通常只检查对话结束时的最终记录，但许多必要步骤不会改变记录状态，导致跳过步骤的助手仍可能被判为成功。该基准同时考察流程合规性与结果正确性，既检查最终记录，也验证助手是否完成所有必需步骤且未做未经请求的更改。研究发现，对每个受测模型，有6.5%至12.0%的会话在仅检查最终记录时被判成功，但实际上助手跳过了必要步骤或进行了未经请求的修改。这表明仅以结果为导向的评测会高估模型能力，同时评估流程与结果才能更准确地反映语言模型在印度零售银行业务中的实际表现。
🔑 关键词速览
| TauIndianBankBench | 一个面向印度零售银行业务的基准测试，用于评估工具使用型对话代理在流程遵循和结果正确性方面的表现。 |
| Procedure-Aware | 指评估方法不仅关注最终结果，还关注代理是否遵循了规定的操作流程和步骤。 |
| Action-Oriented Evaluation | 一种评估方式，侧重于检查代理在对话过程中采取的具体行动是否符合要求，而不仅仅是最终输出。 |
| Tool-Using Conversational Agents | 能够调用外部工具（如API）来完成用户请求的对话代理，例如执行银行交易。 |
| Required Steps | 银行规则中规定的必须执行的操作步骤，例如在关闭存款前获取关闭报价。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅