该研究探讨了可复现的共形预测问题,指出不同分析师在独立样本上校准同一预测模型时,会因数据随机性产生不同的预测集,导致部署、审计和跨站点验证困难。研究提出通过共享随机种子并将校准阈值取整到粗粒度共享网格的方法,使独立校准产生相同分类器,同时保持覆盖率保证,代价是预测集大小和校准数据量的可量化增加。匹配下界证明该方法的成本已达到最优,且单一调节常数渐近消失。无共享种子时,固定网格仍能将分析师限制在相邻两个分类器内,且无更优方案。可复现性还能防止博弈行为,即多次重校准中选取最优结果对可复现分类器影响甚微,但会显著削弱标准共形预测的覆盖率。实验基于真实ImageNet输出、四医院数据划分和四个语言模型家族,验证了理论结果及样本成本边界。
| Conformal Prediction | 一种无分布假设的预测区间构建方法,通过校准数据保证覆盖概率。 |
| Replicability | 指在不同独立运行中产生相同结果的能力,本文强调分类器部署的可复现性。 |
| Calibration Threshold | 在共形预测中用于决定预测集大小的阈值,通常基于校准数据的分位数。 |
| Shared Random Seed | 一个固定的随机数生成器种子,使不同分析师能生成相同的随机性,从而可能产生一致的校准结果。 |
| Coverage Guarantee | 预测集包含真实标签的概率保证,通常要求至少达到预设的置信水平。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅