本文提出一种“惩罚蒸馏”方法,将光滑剪切绝对偏差(SCAD)估计器拟合到稳健初始估计器的经验拟合曲面上,并沿受保护的坐标下降路径,从保真度、稀疏性、扰动稳定性和留出预测四个维度分别评估候选状态。理论方面,作者在固定无污染设计下给出确定性界,将响应替换有界性从初始拟合传递到路径上的每个保留状态;在固定维数下刻画了oracle支撑分支及其影响函数,并建立了路径条件广义信息准则。研究发现,当维数与样本量之比较大时,全坐标稳健拟合会无预警崩溃,而筛选可恢复构造并传递稳健性与支撑保证。模拟实验在p高达240的条件下分离了稳健性传递与支撑恢复、效率和计算成本。在重复分组超导数据中,蒸馏估计器在预设训练响应偏移下保持预测稳定,但保留81个斜率中的66.8至68.8个;更强稀疏化仅以明显的保真度和预测代价降至12.6至14.0个斜率。这表明蒸馏能保持预测稳定性,却不足以支撑紧凑的坐标级解释。
| 惩罚蒸馏 | 一种将稀疏惩罚估计量拟合到稳健初始估计量拟合曲面的方法,旨在平衡稳健性与稀疏性。 |
| SCAD | 平滑裁剪绝对偏差,一种非凸惩罚函数,用于变量选择并减少估计偏差。 |
| 坐标下降 | 一种优化算法,每次迭代沿一个坐标方向最小化目标函数,适用于高维问题。 |
| 确信筛选 | 一种高维变量筛选方法,在一定条件下能保证保留所有重要变量。 |
| oracle支撑 | 指真实模型中所包含的非零系数对应的变量集合,是变量选择的目标。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅