从求逆到约束：新方法让标签偏移置信区域更紧，预测集更小！
From matrix inversion to constraints: provably tighter confidence regions for importance weights in label shift
📖 AI 总结
本文针对标签偏移场景下重要性权重估计的有限样本不确定性问题，提出了一种从矩阵求逆推断转向直接矩阵约束框架的新思路。现有方法通常借助区间值线性系统的高斯消元来分析不确定性，导致置信区域过于保守，进而影响下游任务效率。作者利用该约束框架定义联合置信区域，并通过线性规划提取边缘区间，在保持精确有限样本有效性的同时，推导出可证明更紧的重要性权重边界。研究还分析了置信区域的几何结构，给出了其直径界的理论结果。在AGNews、MNIST、CIFAR-10、N24News及真实自动驾驶数据集nuImages等文本、图像和多模态基准上的实验表明，该方法相比基于求逆的方法能持续获得更短的置信区间和更小的预测集，为标签偏移下的域适应提供了更高效的推断工具。
🔑 关键词速览
| 标签偏移 (Label Shift) | 一种域适应场景，其中源域和目标域的类别先验概率不同，但类条件分布保持不变。 |
| 重要性权重 (Importance Weights) | 用于校正源域和目标域之间分布差异的权重，通常定义为目标域与源域样本概率的比值。 |
| 矩阵约束框架 (Matrix Constraint Framework) | 本文提出的直接基于矩阵约束进行推断的方法，避免了传统求逆操作，从而获得更紧的置信区域。 |
| 有限样本有效性 (Finite-Sample Validity) | 指置信区域在有限样本下仍能保证覆盖真实参数的概率不低于给定置信水平。 |
| 线性规划 (Linear Programming) | 一种优化方法，用于在联合置信区域中提取边缘区间，以计算重要性权重的更紧边界。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅