无需调参！随机特征+早停让神经网络自动达到最优学习速率
A Smoothed Discrepancy Principle for Random Feature Methods and Neural Networks
📖 AI 总结
本文研究非参数回归中谱正则化方法的数据驱动早停问题。作者在经典差异原则基础上提出一种多尺度停止规则，适用于一般核估计器，并证明其在模型正确设定时能在所有光滑度水平上实现完全自适应性，克服了以往方法的局限。论文的核心扩展是将该规则与随机特征近似结合，在大规模数据上降低计算成本的同时保持极小极大最优的统计保证。该程序不仅能选出最优停止时间，还能完全由数据驱动地确定达到最优收敛率所需的随机特征数量。借助随机特征与神经正切核机制下神经网络之间的联系，该方法进一步为网络宽度提供了有原则的数据驱动建议，并证明同时选出的宽度与停止时间可使神经网络在无需预先知道光滑度或容量参数的情况下达到极小极大最优学习率。
🔑 关键词速览
| 差异原则 | 一种用于正则化参数选择的经典准则，通过使残差与噪声水平相匹配来确定停止时间。 |
| 随机特征近似 | 一种通过随机采样特征来近似核函数的方法，可显著降低大规模数据上的计算复杂度。 |
| 神经正切核 | 描述无限宽神经网络训练动态的核函数，将神经网络与核方法联系起来。 |
| 极小极大最优速率 | 在统计学习理论中，指估计器收敛速率的最优下界，即任何估计器都无法超越的速率。 |
| 多尺度停止规则 | 一种在不同尺度或光滑度水平上自适应选择停止时间的规则，以实现完全自适应性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅