最坏情况OR竟反超贝叶斯！可重复性高6.3倍，后端一变稳如泰山
Optimal Recovery Meets Bayesian Learning: Where Worst-Case Bounds Pay Off
📖 AI 总结
本文建立了最坏情况最优恢复（OR）与贝叶斯学习之间的精确对应关系，指出二者本质上描述同一类高斯—二次—希尔伯特问题，仅术语不同。作者证明信息半径等于经 nugget 优化的高斯过程后验方差，并由闭式平衡 nugget 下的后验均值达到。通过在三个已发表的贝叶斯系统中进行实证检验，文章给出双向评估：Morozov 校准在 σ 盲规则失效处可逼近测试访问预言机（1.00—1.19 倍），跨噪声重复性提升 4.9—6.3 倍，且是唯一在后端更换后仍保持选择稳定性的可部署规则，其紧致证书达到信息论下界且无数值松弛。但在可交换数据上，分裂共形预测在区间得分上优于 OR；在协变量偏移下，OR 带虽保持覆盖率，却在多数情形下区间得分落后，真正带来收益的是可学习目标上的偏移，并可由免训练审计统计量预先预测。在贝叶斯优化中，认证宽度构成有效性下界，其标量膨胀在可检验的边缘条件下被证明为惰性，且惰性程度随膨胀幅度与目标函数而异。文章据此提出设计原则：将保证工具与数据情形相匹配，并优先审计数据情形。
🔑 关键词速览
| Worst-case Optimal Recovery (OR) | 一种在给定信息下最小化最坏情况误差的恢复方法，常用于函数逼近和反问题。 |
| Bayesian learning | 基于贝叶斯定理的学习框架，通过先验和似然更新后验分布进行预测和推断。 |
| nugget | 在高斯过程或克里金模型中，表示观测噪声或模型不精确性的小量，用于稳定数值计算。 |
| split-conformal | 一种共形预测方法，通过将数据分为训练集和校准集来构建具有有限样本覆盖保证的预测区间。 |
| covariate shift | 协变量偏移，指训练数据和测试数据的输入特征分布不同，但条件分布保持不变。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅