中位数回归+正则化SVD,smOPG让异常值污染下的变量选择依然精准稳健!
Robust Dual-Regularized Variable Selection under Outlier Contamination
arXiv ML (stat.ML) #变量选择#鲁棒统计#稀疏学习 🕐 今天 12:00

📖 AI 总结

本文提出一种名为smOPG的两阶段变量选择方法,用于在单指标模型存在离群值污染时稳健地识别有效预测变量。该方法首先通过L1惩罚的局部中位数回归估计稀疏局部梯度,再对所得梯度矩阵进行正则化奇异值分解,以秩一稀疏逼近恢复活跃预测变量集合。中位数回归与局部加权的结合使方法对响应变量离群值和杠杆点均具备稳健性。大量不同维度和污染机制的模拟实验表明,smOPG的变量选择表现优于现有方法;在空气污染和基因组数据上的应用验证了其实用价值。理论分析证明,该方法无需依赖单个局部回归的选择一致性即可实现活跃集恢复,为复杂预测场景下的稳健变量选择提供了新思路。

🔑 关键词速览

smOPG稀疏中位数梯度外积,一种两阶段稳健变量选择方法,结合局部中位数回归与秩一稀疏近似。
单指标模型一种半参数回归模型,响应变量通过一个未知的链接函数依赖于预测变量的线性组合。
ℓ1惩罚局部中位数回归在局部窗口内使用中位数回归并施加ℓ1正则化,以稳健地估计稀疏局部梯度。
杠杆点在预测变量空间中远离其他观测的点,可能对回归结果产生较大影响。
活跃集恢复正确识别出模型中真实非零系数对应的预测变量集合。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅