核岭回归大突破！各向异性数据下学习曲线竟有这种惊人规律，性能提升全靠它！
Learning between the peaks: sharp asymptotics for kernel ridge regression under power-law anisotropy
📖 AI 总结
该研究分析了各向异性高斯数据下核岭回归的渐近行为，其中输入协方差以幂律指数α≥0衰减，并采用多项式内积核。研究在多项式高维框架（n=Θ(d^κ)）下推导出核谱和泛化误差的精确表达式，揭示了各向异性如何重塑学习曲线。关键发现包括：在弱各向异性（0<α<1）下，问题仍保持高维特性，方差在整数样本复杂度处出现峰值但随α增大而衰减，而偏差转变则可能在分数复杂度处发生；在强各向异性（α>1）下，有效维度变为常数，方差不再依赖样本量，偏差则依据目标衰减率经历急剧转变。研究还针对单指标目标进行了专门分析，表明指标与数据主方向的对齐程度决定各向异性的影响。这些结果阐明了输入几何结构如何塑造核特征并从根本上影响泛化性能。
🔑 关键词速览
| kernel ridge regression | 核岭回归，一种结合核方法和岭惩罚的正则化回归方法。 |
| anisotropic Gaussian data | 各向异性高斯数据，指输入数据服从协方差矩阵非各向同性的高斯分布。 |
| power-law anisotropy | 幂律各向异性，指协方差特征值按幂律衰减的特性。 |
| polynomial high-dimensional regime | 多项式高维区域，指样本量n与维度d满足n=Θ(d^κ)的渐近设置。 |
| generalization error | 泛化误差，衡量模型在未见数据上的预测误差。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅