LLM评估还在前科学阶段？26个模型80个任务实测，多提示总有用，任务表述却要看模型大小！
How to Evaluate When You Don't Know How to Evaluate? Choosing Reliable Setups for Base Language Model Benchmarking
📖 AI 总结
这篇论文关注大语言模型评测中缺乏系统方法论的问题。作者指出，当前评测涉及大量设计决策，却少有明确指导，而这些选择会显著影响测得的性能，进而影响预训练决策。为找出可靠的评测设置，研究考察了任务形式化、上下文示例数量等8个方面，并以单调性、非随机性和排名一致性三项信号标准作为规范性元指标进行比较。实验在早期预训练场景下，用4种语言的80项任务评测了26个20亿参数的单语模型，并在3个70亿以上参数的大模型上验证，同时探讨了模型规模对最优设置的影响。结果显示，多提示词等选择始终有效，而任务形式化等选择则依赖模型规模。该框架可为新场景下的评测设置选择提供可复用方案。
🔑 关键词速览
| 前科学阶段 | 指评估实践缺乏系统理论指导，设计决策随意，尚未形成科学规范。 |
| 元度量 | 用于评估评估设置本身质量的度量标准，如单调性、非随机性和排序一致性。 |
| 单调性 | 评估分数随模型训练进展（如检查点）应呈现单调上升趋势的性质。 |
| 排序一致性 | 不同评估设置下模型性能排序保持稳定的程度。 |
| 上下文示例 | 在提示中提供给模型的少量示例，用于指导模型完成特定任务（即少样本学习）。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅