离策略评估数据发布：修复算法让锐利宽度中位数暴降93%！
What a Data Release Must Preserve for Off-Policy Evaluation
📖 AI 总结
该研究探讨了离线策略评估中数据发布需保留哪些信息才能保证评估可识别。作者指出，若将决策时刻历史中影响策略价值或比较的差异合并，即使动作、结果及行为策略与目标策略已知，评估仍可能无法识别。研究证明，识别的充要条件是动作特定的评估权重在每个发布记录内保持恒定，最粗的精确发布应按这些权重对历史分组。对于归一化结果，发布导致的最大锐利宽度等于行为加权的记录内权重半径；当每条记录可细分为至多m类时，该半径成为发布设计目标，其最优解具有精确的m中心刻画。当行为在记录内不变时，作者给出有限数据修复算法，其最大评估权重半径不超过有限数据最优值的两倍。在KuaiRec的24个任务中，该修复算法在m=64时将平均成对锐利宽度中位数降低93%。
🔑 关键词速览
| Off-Policy Evaluation | 离策略评估，利用历史数据评估新策略价值的方法。 |
| Identification | 可识别性，指从观测数据中唯一确定目标参数的性质。 |
| Sharp Width | 锐利宽度，在部分识别下评估目标可能取值区间的长度。 |
| AIPW Envelope | 增强逆概率加权包络，一种结合倾向得分和结果回归的估计框架。 |
| m-center | m-中心，将数据点划分为至多 m 个簇并最小化最大簇半径的聚类问题。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅