无需标注者身份，P3L用PCA从匿名人群反馈学偏好，个性化对齐泛化到新用户还省算力！
Steerable Pluralistic Policy Alignment from Anonymized Crowd Feedback
📖 AI 总结
该论文针对多元对齐问题提出P3L框架，旨在让AI系统从偏好各异甚至相互冲突的匿名群体反馈中学习，并为不同用户提供个性化行为。现有方法通常依赖标注者身份信息和强大的预训练表征来建模个体偏好差异，而P3L通过PCA分解，在无需标注者身份的情况下联合学习轨迹嵌入与共享偏好方向基。测试阶段，该方法能够快速准确地进行个性化奖励学习和下游策略优化。在多个具身控制任务上的实验表明，P3L实现了可引导的个性化对齐，能够泛化到离线数据集之外的新用户，在强化学习与测试性能上具有竞争力，同时显著降低计算成本，并支持可变的适配查询预算。
🔑 关键词速览
| Pluralistic Alignment | 指AI系统学习并适应多样化人群偏好（可能异质或冲突）的对齐方式。 |
| P3L (Preference-PCA Pluralistic Learning) | 本文提出的框架，通过PCA分解从无身份标注的群体反馈中联合学习轨迹嵌入和偏好方向共享基。 |
| PCA Decomposition | 主成分分析分解，用于提取偏好方向的主要变化模式，实现降维和共享基学习。 |
| Personalized Reward Learning | 针对个体用户快速学习其特定奖励函数的过程，用于个性化策略优化。 |
| Out-of-Distribution New Users | 指在离线数据集中未出现过的、分布外的新用户，用于测试泛化能力。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅