一个库统一评估语言模型和智能体，七大案例揭示评估结果如何被改变！
AuditKIT: A Unified Evaluation Spine for Benchmarking, Judging, and Comparing Large Language Models and Agentic Systems
📖 AI 总结
AuditKIT 是一个开源评估库，旨在解决大语言模型与智能体系统评测中接口、指标语义和轨迹格式不统一的问题。它将基准准确率、评判模型评估、运行时性能、工具调用行为和检索质量统一记录在同一结果表示中，并引入方向感知的指标契约、配置指纹以及可扩展的指标与后端。针对智能体，它提供按轮次的工具调用匹配，区分并行与串行执行，并将已验证任务结果与轨迹级诊断分开；对缺失或不可观测的证据标记为未评分而非计为失败。针对检索增强生成，它结合排序检索指标、评判式接地评估和确定性证据检查。七项案例研究覆盖模型比较、服务运行时、检索、工具调用和互操作性，表明答案抽取方式、运行时行为和指标选择会显著改变评估结论。
🔑 关键词速览
| AuditKIT | 一个源代码可获取的评估库，用于统一记录和比较语言模型与智能体系统的多种评估测量。 |
| 方向感知的指标契约 | 一种明确指标优化方向（如越高越好或越低越好）的规范，确保评估语义一致。 |
| 回合感知的工具调用匹配 | 在智能体评估中，根据对话回合上下文来匹配工具调用，以准确评估工具使用行为。 |
| 检索增强生成 | 一种结合检索外部知识来增强语言模型生成能力的技术框架。 |
| 未评分 | 当证据缺失或不可观测时，将相应指标标记为未评分而非失败，以避免评估偏差。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅