工具智能体新突破：1036个决策点反事实数据，让AI学会何时出手何时收手！
Agents' Last Doubt: Knowing When to Act and When to Step Back in Tool-Using Agents
📖 AI 总结
该论文关注工具使用型大语言模型智能体在不确定情境下的决策问题：面对自主行动、继续收集信息与转交人工三种选择，智能体需在任务成功率、交互成本与不可逆错误风险之间权衡。由于现有交互轨迹只记录已执行动作的结果，无法观察替代动作的后果，作者在ToolSandbox中构建了反事实数据集，覆盖1036个决策点、3115个动作结果，逐一执行每个合法动作并评估其下游表现。基于该数据集训练的SURE-Act控制器在推理时为冻结的主干智能体选择动作，其排序式学习相比仅回归基线将离线动作选择效用提升0.0309；配合Qwen3-4B智能体使ToolSandbox总体得分端到端提升最多0.0575，并分别优于SAGE-Agent和Calibrate-Then-Act的改编决策规则0.1506和0.1438。该工作建立了ToolSandbox首个反事实数据集，为不确定性下的智能体决策提供了可操作依据。
🔑 关键词速览
| Tool-Using LLM Agents | 使用外部工具（如API、计算器）来增强任务执行能力的大型语言模型智能体。 |
| Counterfactual Dataset | 记录在相同决策点下采取不同行动所产生结果的数据集，用于分析替代行动的后果。 |
| SURE-Act | 一种在推理时为主干智能体选择行动的控制器，通过排序替代行动来优化决策。 |
| ToolSandbox | 一个用于评估工具使用智能体决策能力的模拟环境或基准测试平台。 |
| Human Escalation | 在智能体不确定或面临高风险时，将决策权转交给人类操作者的机制。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅