本文研究多类别概率预测中的效用校准(UC)问题,特别关注标签存在层级结构时的情形。作者证明,实际效用与预测平均效用之间的差异可精确分解为标签树各内部节点贡献之和,由此揭示不同节点的正负贡献可能相互抵消——即使整体UC值很小,层级中某些部分的效用误差仍可能很大。为此,作者提出层级效用校准(HUC),在求和前先评估每个节点的贡献,同时保持相同的目标效用、子群和预测效用区间。研究还给出覆盖所有预测效用区间的有限样本评估方法,并提出仅更新被违反内部节点的HUC-Boost算法,二者均具备理论保证。该工作为医学、图像分类等依赖标签层级的决策场景提供了更可靠的校准框架。
| Utility Calibration (UC) | 一种多类概率预测的校准方法,专注于在指定效用上审计预测,以保证下游决策质量。 |
| Hierarchical Utility Calibration (HUC) | 本文提出的方法,在标签树的每个内部节点上分别评估效用贡献,避免正负贡献抵消,从而更精细地校准层次结构中的效用。 |
| label hierarchy | 标签之间的层次结构,通常表示为树形结构,其中内部节点代表类别分组,叶节点代表具体类别。 |
| HUC-Boost | 一种基于HUC的增强算法,仅更新被违反的内部节点,以高效地改进层次效用校准。 |
| predicted-utility interval | 预测效用的区间,用于评估模型在不同效用水平下的校准性能。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅