最优BER和AUC也能估了！软标签+保序回归，误差上界都有，性能评估不再靠猜！
Bayes-Optimal BER and AUC: Estimation and Evaluation of Estimators
📖 AI 总结
该论文针对机器学习中评估模型性能极限的问题，提出了估计最优平衡错误率（BER）和ROC曲线下面积（AUC）的新方法。传统上，贝叶斯误差或最优准确率可从软标签中估计，但在类别不平衡或标注噪声场景下，BER和AUC更为适用。作者首先在已知真实软标签和类别先验的干净设置下提出估计器，随后扩展到类别先验未知且软标签受未知保序变换及加性噪声干扰的现实场景，通过等渗回归和辅助硬标签近似恢复干净软标签，并利用硬标签的截断均值估计类别先验，同时推导了有限样本误差界。此外，由于真实数据上的最优值不可观测，作者将FeeBee框架扩展至最优BER和AUC的评估，无需知道真实最优值即可对任意估计器进行评分。合成与真实数据实验验证了所提估计器和评估流程的有效性。
🔑 关键词速览
| Bayes error | 贝叶斯误差，指在给定数据分布下任何分类器所能达到的最小错误率，是性能的理论下限。 |
| Balanced error rate (BER) | 平衡错误率，是各类别错误率的平均值，适用于类别不平衡场景的性能指标。 |
| Area under the ROC curve (AUC) | ROC曲线下面积，衡量分类器在不同阈值下区分正负类能力的综合指标。 |
| Isotonic regression | 保序回归，一种在单调性约束下拟合数据的非参数回归方法，用于恢复被破坏的软标签。 |
| FeeBee framework | 一个用于评估贝叶斯误差估计器的框架，无需知道真实最优值即可提供评估分数。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅