📖 AI 总结

本文研究多元对齐中如何在有限的人类反馈预算下，公平且高效地分配反馈采集。研究指出，用AI模拟器标注偏好虽能降低成本，但模拟准确度因人而异，可能导致部分群体的偏好在训练中被弱化。为此，作者将个体监督效用纳入社会福利率目标，提出Welfare-Aware Preference Acquisition（WAPA）方法，借助辅助参考模型估计每次查询的边际福利增益与个体效用，并据此选择查询、动态更新效用，同时证明了在固定预算与模型预测下该算法的精确最优性。在六个Roleplay数据集和四个OpinionQA地区的实验中，该方法改善了监督质量并实现了可控的分配权衡；在优先照顾指定群体与代表性不足个体时，仅采集20%的人类标注即可弥补纯AI标注与纯真实标注策略之间75%至86%的平均预测效用差距。

🔑 关键词速览