后处理公平干预在14个高差异案例中9个有效，但单次审计不可靠！
When Post-Processing Fairness Constraints Help and When They Harm: Evidence from Eight Cross-Domain Evaluations
📖 AI 总结
该研究提出FAPE框架，在刑事司法、收入预测、法律招生、信贷、农业贷款、多域基准、医疗和教育八个领域评估Fairlearn的ThresholdOptimizer后处理干预效果，以人口统计均等、机会均等差、差别影响比和准确率代价为指标。核心发现是干预效果取决于基线差异大小：在14个高差异模型-领域组合中，约束在9个中改善了差异，却在4个接近公平的组合中使3个恶化；五个高差异例外均可在最小群体规模或留出数据拟合阈值两项检验之一下被推翻。研究还表明，部署时启动的CUSUM监测能在模拟分布偏移下区分从未达标与达标后回退的模型。结论指出单次部署审计不可靠，应进行基线差异筛查并持续监测。
🔑 关键词速览
| FAPE | 生产环境公平性审计框架，用于跨领域评估后处理公平性干预措施。 |
| ThresholdOptimizer | Fairlearn库中的后处理公平性干预方法，通过调整分类阈值来优化公平性指标。 |
| Demographic Parity | 人口统计均等，要求不同群体获得正预测的比例相同。 |
| Equalized Odds Difference | 均衡几率差异，衡量不同群体在真阳性率和假阳性率上的差异。 |
| CUSUM Monitor | 累积和监测器，用于检测模型公平性随时间发生的偏移或退化。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅