仅用噪声标注也能校准模型！NC-ECE精准估计误差，重校准大幅改善潜在标签校准。
Noisy-Label Calibration with Multiple Unreliable Labels
📖 AI 总结
本文针对医学标注和众包场景中多个标注者提供的标签可能存在错误的问题，指出若将这类噪声标签当作真实标签使用，会导致校准评估产生偏差。为此，作者提出在仅依赖噪声标注的条件下，对固定的二分类预测器在潜在干净标签分布上进行评估与重校准的方法。具体而言，在已知标注者特定噪声概率时，提出噪声校正ECE（NC-ECE），一种类条件噪声下期望校准误差的分箱估计量，并推导了其偏差的非渐近界；随后在条件独立与标签方向假设下，给出估计未知噪声概率的实用算法，并分别开发了具有干净风险保证的基于损失的重校准方法和具有校准保证的直方图后处理重校准方法。半合成基准实验表明，所提ECE估计量能紧密跟踪干净标签的预言机对应值，重校准方法显著改善了潜在标签校准，而直接针对噪声标注进行未校正的重校准反而可能使校准性能下降。
🔑 关键词速览
| Noise Corrected ECE (NC-ECE) | 一种在类条件噪声下校正期望校准误差（ECE）的分箱估计器，用于在噪声标注下评估模型校准。 |
| Expected Calibration Error (ECE) | 期望校准误差，衡量模型预测概率与真实准确率之间差异的常用校准评估指标。 |
| Class-conditional noise | 类条件噪声，指噪声概率依赖于真实类别标签的噪声模型。 |
| Post-hoc recalibration | 事后重新校准，在模型训练完成后对其预测概率进行调整以提高校准性能的方法。 |
| Conditional independence assumption | 条件独立性假设，假设在给定真实标签的条件下，不同标注者的噪声是相互独立的。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅