📖 AI 总结

文章指出，AI智能体的评估方式正从单一函数调用打分转向完整任务完成度衡量。其核心在于通过可执行环境追踪多步工具调用中的状态变化，并采用两层评分机制：步骤级过程评分用于定位链条断裂点，端到端结果评分则验证最终环境状态是否与目标一致。评估指标按基准、试验、任务、轮次、步骤的固定层级汇总，准确率、冗长度与成本需配对报告，例如成功率与一致性区间。基准可比性取决于任务复杂度、环境状态性和验证方法，可执行检查优于参考比对或LLM评判。NVIDIA Nemotron 3.5 Lightning在该框架下于PinchBench达到86%准确率，任务完成速度比同类模型快30%。企业部署应优先采用基于真实工单和API构建的领域评估，并以环境状态而非孤立调用准确率作为门槛。