Chatbot Arena排名翻车：近似模型对决比预测果断1.37倍！
Similar Models, Broken Odds: Where Luce's Axiom Fails in Chatbot Arena
📖 AI 总结
这篇论文检验了Chatbot Arena排行榜所依赖的Bradley-Terry模型及其背后的Luce选择公理是否成立。作者利用180万条Arena投票发现，当两个模型高度相似时，投票结果比模型分数所预测的更加一边倒：同一模型不同版本之间的投票决定性高出预测值1.37倍，同一代不同规模之间为1.26倍，同一实验室的模型之间为1.12倍，且该效应在更换平局处理方式、提示子集、话题和时间检验后依然稳健。两个模型回答在措辞和格式上的相似程度与这一效应相关。作者提出一个仅含四到六个参数的修正模型，在预测留出投票上优于Bradley-Terry及参数多达数百的模型，其增益主要来自对平局建模；但该修正并未显著改善头对头胜率预测，排行榜顺序也几乎不变。在使用语言模型作为评判者、三选项菜单的实验中，近似副本主要从与其最相似的模型处夺取选票。研究说明Arena排名虽大体稳定，但其概率假设在相似模型间存在系统性偏差。
🔑 关键词速览
| Luce's choice axiom | Luce 选择公理，一种关于选择概率的假设，认为选择概率独立于无关替代项。 |
| Bradley-Terry model | Bradley-Terry 模型，一种用于成对比较的统计模型，为每个项目分配一个分数以预测胜负概率。 |
| Chatbot Arena | Chatbot Arena，一个通过人类投票对聊天机器人进行排名的平台。 |
| log-odds shift | 对数几率偏移，表示概率的对数几率变化，用于衡量效应大小。 |
| held-out votes | 留出投票，指在模型训练中未使用、用于评估预测性能的投票数据。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅