📖 AI 总结

NVIDIA 发布技术教程，介绍如何利用 NeMo Relay 追踪 Hermes Agent 的执行过程，以评估智能体框架（harness）的改动是否真正改善任务结果。文章指出，智能体即使完成任务，也可能存在重复搜索、重复读取文件等低效路径，这些额外步骤会增加延迟与 token 消耗，并提高失败风险，而仅凭成功与否的验证无法解释其行为。教程通过两个 Hermes Agent 示例，展示如何检查模型与工具调用、错误、重试、耗时和 token 使用情况，并结合任务验证结果进行对比分析。文中还以 Hermes ToolPerf 案例说明如何跨多次运行评估框架改动。该方案的意义在于，将执行轨迹证据与结果验证结合，帮助开发者更准确地诊断和优化智能体行为。