🔥 今日值得一读
重跑默认设置竟让21.2%判定翻转，聚合分数却只动1分！
Behind Aggregate Scores: What Systematically Varying Arena-Hard's LLM Judge Reveals
👨💼 主理人解读 · 为什么值得关注
提醒开发者：LLM评审的聚合分可能掩盖判定不稳定，做模型评测时应检查重复性与指令敏感性。
📖 AI 总结
该研究考察了Arena-Hard基准中LLM评审（judge）判定结果的可重复性与指令敏感性。作者固定两个模型的回答，使用500条Arena-Hard v2.0提示，让GPT-4.1在标准、输出格式和任务框架的八种组合下担任评审，并在温度为零、模型版本固定的条件下重复运行。结果显示，即便重复同一默认设置，总体得分仅波动约1分，却有21.2%的提示在胜/平/负结果上发生变化；改变指令带来的影响更大，某些设置下结果变化比例比重复运行平均高出28.2个百分点，总体得分下降4.09分，而另一设置下结果变化高出6.7个百分点，总体得分却几乎不变。研究表明，总体得分的稳定并不能证明单条判定可重复，将评审结果用作偏好标签或评估单个回答时需谨慎，应重复每种设置并同时报告总体得分与提示级一致性。
🔑 关键词速览
| LLM judges | 大型语言模型作为评判员，用于评估和比较不同答案的质量。 |
| Arena-Hard v2.0 | 一个用于评估语言模型性能的基准测试集，包含多种提示词。 |
| Aggregate scores | 聚合分数，指将多个个体判定汇总后得到的总体评分。 |
| Win/tie/loss outcome | 胜/平/负结果，指评判员对两个答案比较后给出的三种可能判定。 |
| Prompt-level agreement | 提示词级别的一致性，指在单个提示词上重复评判时判定结果的一致程度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅