深度ReLU网络学习谱Barron函数达极小极大最优速率，逼近速度突破维度限制！
Minimax rates for learning spectral Barron functions by deep ReLU neural networks
📖 AI 总结
本文研究深度ReLU神经网络对谱Barron函数的逼近与学习能力。此前研究已表明，这类函数可被浅层网络高效逼近而不受维数灾难影响。本文补充了深层网络的逼近界，证明光滑指数为s的d维谱Barron函数可由深度ReLU网络以约S的负二分之一减d分之s次方的速率逼近，其中S为网络非零参数个数。基于该逼近结果，作者进一步证明深度ReLU网络能以n的负2d加2s分之d加2s次方的快速收敛率从n个训练样本中学习此类函数，并证明该收敛率在对数因子范围内达到极小极大最优。这一结果为深层网络学习谱Barron函数提供了理论上的最优速率保证。
🔑 关键词速览
| 谱 Barron 函数 | 一类具有特定傅里叶变换衰减性质的函数，其光滑度由指标 s 控制，常用于研究神经网络逼近的维数灾难问题。 |
| 深度 ReLU 神经网络 | 使用修正线性单元（ReLU）作为激活函数的多层前馈神经网络，具有强大的函数逼近能力。 |
| 逼近速率 | 描述神经网络逼近目标函数时误差随网络规模（如非零参数个数 S）增大而下降的速度。 |
| 极小极大速率 | 在统计学习理论中，指在所有可能的学习算法中，最坏情况下的最优收敛速率，反映了问题的固有难度。 |
| 维数灾难 | 指当输入维度增加时，逼近或学习函数所需的样本量或计算资源呈指数级增长的现象。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅