随机特征回归调参不用猜了！相邻早停规则省时又精准，性能逼近理论极限
Adaptive Regularization for Random Features: A Neighboring Early-Stopping Rule with Oracle-Rate Guarantees
📖 AI 总结
该研究提出了一种针对随机特征核岭回归（KRR-RF）的自适应正则化方法，即相邻早停规则。传统方法需要预先知道数据平滑度和容量参数才能确定最优正则化参数，而该方法通过均匀逆正则化网格，仅比较相邻估计器，避免了标准Lepskii型全对比较的高计算成本。相邻差异及其经验复杂度项可直接在随机特征空间中计算，无需构建完整核矩阵。作者建立了相邻估计器的高概率比较界，证明在标准源条件和容量条件及合适的网格和特征预算下，所选估计器能达到Oracle多项式学习率（仅差对数因子），且无需先验参数知识，适用于设定正确和部分设定错误的情形。分析基于经验随机特征有效维度，将可观测的停止阈值与模型总体复杂度联系起来。模拟和真实数据实验验证了该方法在预测性能和计算效率上优于标准调参流程。
🔑 关键词速览
| Random Features | 一种通过随机投影近似核函数的方法，用于扩展核方法到大规模数据。 |
| Kernel Ridge Regression (KRR) | 核岭回归，一种结合核技巧和L2正则化的回归方法。 |
| Early-Stopping Rule | 早停规则，一种通过提前终止迭代或调整参数来避免过拟合的策略。 |
| Lepskii-type Procedure | 一种自适应选择正则化参数的方法，通过比较不同参数下的估计器差异来确定最优参数。 |
| Oracle Rate | 最优学习率，指在已知真实模型参数时能达到的理论最优收敛速度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅