📖 AI 总结

微软与香港城市大学的研究者提出了一种评估AI智能体在长周期任务中决策质量的方法，并将这种能力称为智能体的“品味”。现有基准只关注任务是否完成，忽略了中间步骤的质量，而长周期决策的优劣往往在当下难以判断，错误选择的代价通常在消耗大量预算后才显现。为此，研究团队构建了Taste-Bench，包含502道题目，利用智能体多次尝试同一任务后路径分叉的“决策分叉点”，冻结运行并隐藏后续轨迹，让模型在两条路径中做出选择，再以后续实际结果作为标注。数据来自SWE-bench Pro、MALT等数千次评分运行。结果显示，表现最好的模型准确率也仅略超60%，说明当前AI智能体在长周期决策上仍有明显短板。