标签噪声下校准全崩？LWCal仅用CPU把误差从0.188砍到0.122！
LWCal: Loss-Weighted Calibration for Tabular Classifiers with Noisy Calibration Labels
📖 AI 总结
该论文研究表格分类器在标签噪声环境下的后验概率校准问题。传统校准方法通常假设校准集标签干净，但实际部署中标签常来自弱标注者、历史决策或启发式规则，同样带有噪声。作者提出LWCal，一种仅需CPU的后处理校准器，通过基础模型在留出集上的预测概率来识别并降低被噪声标签误导的校准样本权重，无需干净验证标签、噪声率估计或重新训练基础分类器。其变体Gated-LWCal引入保守分歧门控，当校准集极度不一致时回退至原始分数。在九个二分类表格任务、六种随机种子、对称与非对称标签损坏及三种树模型上的实验表明，LWCal取得最低平均校准误差，Gated-LWCal在适当评分权衡上表现最佳。主实验中，Gated-LWCal将期望校准误差从0.188降至0.122，负对数似然从0.438降至0.396，配对自助法区间在多项指标上排除零，验证了其有效性。
🔑 关键词速览
| 事后概率校准 | 在分类器训练完成后，调整其输出概率以使其更准确地反映真实置信度的方法。 |
| 标签噪声 | 训练或校准数据中标签存在错误或不准确的情况，可能来自弱标注者或启发式规则。 |
| LWCal | 本文提出的一种仅需CPU的事后校准器，通过降低与基础模型预测矛盾的噪声校准样本的权重来工作。 |
| Gated-LWCal | LWCal的变体，增加了一个保守的分歧门控，当校准数据极度不一致时退回到原始分数。 |
| 期望校准误差 | 衡量分类器预测概率与实际准确率之间差异的指标，值越低表示校准越好。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅