异质人类判断下，NashEval用正交均衡学习精准识别跨上下文最佳智能体！
Context-dependent agent evaluation with orthogonal equilibrium learning
📖 AI 总结
本文研究如何在给定上下文信息（如提示、任务或用户群体）下，基于离线反馈对智能体进行评价。现有基于评分的方法（如Bradley-Terry模型）假设偏好具有传递性，难以反映人类判断异质时的集体偏好。作者受社会选择理论启发，将评价建模为两个玩家之间的上下文博弈，各自选择智能体上的分布以争取更高的集体偏好，纳什均衡的支撑集即定义了特定上下文下的获胜者集合。针对离线日志中每个上下文仅揭示部分智能体反馈、朴素估计存在偏差的问题，作者提出NashEval框架：先构建上下文收益矩阵的去偏估计，再通过定制的正交损失学习上下文到均衡的映射，无需为每个上下文单独求解博弈。理论分析表明，收益矩阵中干扰函数估计误差仅通过高阶项影响所学均衡的可利用度。实验显示NashEval提升了均衡学习的鲁棒性，并能一致地识别各上下文下表现最优的智能体集合。
🔑 关键词速览
| Context-dependent agent evaluation | 在特定上下文信息（如提示、任务或用户群体）下对智能体进行评估的方法。 |
| Bradley-Terry model | 一种基于成对比较的偏好模型，假设偏好具有传递性，常用于排序和评估。 |
| Nash equilibrium | 博弈论中一种策略组合，其中每个玩家在给定其他玩家策略时无法通过单方面改变策略获得更高收益。 |
| Orthogonal loss | 一种损失函数设计，通过正交化干扰函数的影响，使估计误差仅以高阶项影响最终风险。 |
| Exploitability | 衡量策略接近纳什均衡程度的指标，表示对手通过偏离策略可获得的最大收益。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅