执行框架竟拖累推理准确率！AlphaDiana测量系统揭示智能体性能真相
AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
📖 AI 总结
AlphaDiana 是一套面向可验证推理任务的智能体测量系统，通过模块化接口统一管理数据集、智能体、环境与评分器，在保留各执行框架原生控制循环的同时，可分别控制文件复用与记忆保留，从而支持对完整智能体的宏观分析，以及在匹配条件下对工具、技能、记忆等组件的微观干预。研究者在五个基于答案的基准上测试了三个开源模型与三个开源执行框架，并对其中两个模型追加了两个交互式基准。核心发现是：执行框架并不稳定提升推理准确率，其在模型原本无法解答的问题上带来的增益，可能被原本能正确解答问题上的损失所抵消；这一不一致性同样体现在组件干预上，技能指导与历史记忆均无法可靠提升准确率。此外，行为与输出 token 消耗必须结合正确率评估，低 token 熵可能伴随错误答案，而准确率下降时单次执行输出更少反而可能意味着每个正确答案消耗更多 token。该系统将答案正确性与执行状态关联到轨迹和资源记录，为在统一任务与资源策略下比较智能体、诊断失败提供了基础设施。
🔑 关键词速览
| Agent | 智能体，指将推理模型与执行框架结合，能够调用工具、加载技能并保留历史以完成任务的系统。 |
| Harness | 执行框架，负责组织模型调用、执行工具、加载技能指令和管理记忆的底层控制循环。 |
| AlphaDiana | 本文提出的测量系统，具有模块化接口，用于在可控条件下评估智能体的性能、行为和资源使用。 |
| Token Entropy | token 熵，衡量模型输出不确定性的指标，低熵可能表示模型自信但可能伴随错误答案。 |
| Component Interventions | 组件干预，指在匹配条件下对智能体的特定组件（如工具、技能、记忆）进行修改以观察其影响。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅