基准饱和后仍能预测AI能力，成对评判将误差直降5.3倍！
Evaluating Model Capabilities After Benchmark Saturation
📖 AI 总结
随着AI能力快速提升，许多基准测试因模型接近满分而饱和，失去区分模型的能力，进而影响AI安全评估与前沿政策制定。该研究提出，基准测试的解题记录（transcript）蕴含远超分数的信息。作者通过回溯模拟饱和场景，检验仅利用已饱和基准中正确解题记录，能否预测模型在未饱和测试项上的能力。研究比较了成对评判、单记录绝对评分及基于确定性特征或嵌入的预测三类方法，发现饱和记录仍保留能力信息，其中成对评判效果最佳，预测误差较仅用饱和分数降低5.3倍。这些信息分布于各记录部分，但集中于推理与工具调用等特定通道。不过，预测能力在分布偏移下并不总能泛化，例如会低估2025年初首批推理模型的能力。研究表明，饱和基准的任务记录仍具能力预测信号，但需设计稳健的提取方法以延长其使用寿命。
🔑 关键词速览
| 基准饱和 | 指多个模型在基准测试上接近满分，导致基准失去区分模型能力的作用。 |
| 记录 | 模型解决任务过程的完整记录，包括推理步骤、工具调用等信息。 |
| 成对评判 | 一种通过比较两个模型输出优劣来评估能力的方法。 |
| 分布变化 | 指测试数据分布与训练数据分布不一致的情况，可能导致模型预测性能下降。 |
| 推理模型 | 指具有显式推理步骤的AI模型，如2025年初引入的模型。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅