前k选拔新招：评分+成对比较自适应混用，有限预算高效锁定最佳人选
Selecting the Best Few with Human Evaluators: Adaptively Combining Ratings and Pairwise Comparisons
📖 AI 总结
该论文研究如何在有限的人工评估预算下，从大量候选中高效选出最优的k个项目，应用场景包括招聘、大模型评测、奖项提名和产品创意筛选等。作者提出将评分与成对比较两种评估形式结合使用：早期用评分快速获得候选质量的粗略图景，随后用成对比较细化优质项目的排序，从而锁定最终的前k名。为解决评估资源的分配问题，论文设计了一种自适应算法，其核心是基于代理目标的分配策略，该策略具有前瞻性，会优先选择那些能为未来评估提供信息的项目，而不仅着眼于直接改善当前选择，并证明了该决策规则的渐近一致性；在评估后期则切换为短视策略。仿真结果表明，该方法优于现有基准，并揭示了两种评估形式如何有效组合。
🔑 关键词速览
| 自适应分配 | 根据已有评估结果动态调整后续评估资源分配的策略。 |
| 成对比较 | 让评估者比较两个项目并判断哪个更好的评估形式。 |
| 替代目标 | 为优化原始目标而设计的间接目标函数，便于算法求解。 |
| 渐近一致性 | 随着样本量增加，算法输出以概率1收敛到正确结果的性质。 |
| 短视策略 | 仅基于当前信息做决策而不考虑未来影响的策略。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅