无需重训模型，LOCO-AdaMP预测性能大幅提升还自带免费推断！
LOCO-AdaMP: Built-in LOCO Inference for Adaptive Minipatch Ensembles with Enhanced Prediction
📖 AI 总结
本文提出LOCO-AdaMP，一种面向回归任务的自适应小批量集成框架，旨在解决黑箱模型特征重要性推断中不确定性量化困难的问题。针对现有LOCO推断方法需数据拆分或模型重拟合、以及LOCO-MP因大规模特征子采样在高维稀疏场景下预测性能受损的局限，作者引入由LOCO重要性引导的自适应特征采样机制，使集成模型在无需数据拆分的情况下实现渐近有效的特征重要性推断。理论分析通过留二扰动界与观测子采样下LOCO评分的稳定性，处理了自适应采样分布与重要性统计量之间的复杂依赖。合成与真实数据实验表明，该方法在预测性能、推断功效和稳定性上均优于现有方法，且不依赖特定基模型，兼具强预测能力与有效推断。
🔑 关键词速览
| LOCO (Leave-One-Covariate-Out) | 留一协变量法，一种通过逐个移除单个特征并观察模型性能变化来评估特征重要性的方法。 |
| Minipatch Ensemble | 小块集成，一种通过同时子采样观测和特征生成多个小规模基模型并集成其结果的框架。 |
| Adaptive Feature Sampling | 自适应特征采样，根据特征重要性动态调整特征被选入基模型的概率的采样策略。 |
| Asymptotically Valid Inference | 渐近有效推断，指随着样本量增大，统计推断（如置信区间和p值）的频率性质趋于正确的性质。 |
| Leave-Two-Out Perturbation Bound | 留二扰动界，一种分析移除两个样本对估计量影响的理论工具，用于证明算法稳定性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅