ReLU网络逼近误差新突破：宽度O(N)深度O(L)即达最优速率，无需宽深关系！
Optimal approximation of smooth functions by ReLU neural networks
📖 AI 总结
该论文研究全连接ReLU网络对Hölder球类中光滑函数的一致逼近问题。此前除一维Lipschitz情形外，已有构造与信息论效率极限之间始终存在差距。作者证明，对任意光滑阶数s>0和维度D≥1，宽度为O(N)、深度为O(L)、参数幅度为O(1)的网络即可达到(N²L²logN)^(-s/D)量级的一致逼近误差，且无需限制宽度与深度的关系，从而在所有情形下弥合了这一差距。其构造采用新的编码与解码机制，利用目标函数局部Taylor系数的高阶有限差分界。作为统计推论，在相应截断网络类上经验风险最小化者可达到极小极大回归速率n^(-2s/(2s+D))，且不含额外对数因子。论文还系统阐述了相关逼近技术，兼具理论意义与统计应用价值。
🔑 关键词速览
| ReLU神经网络 | 使用修正线性单元（ReLU）作为激活函数的前馈神经网络。 |
| Hölder球 | 由Hölder范数约束的函数集合，用于描述函数的光滑性。 |
| 一致逼近 | 在函数定义域上以最大误差（无穷范数）衡量逼近效果。 |
| 有限差分 | 用离散差分近似导数的数值方法，用于估计局部Taylor系数。 |
| 极小极大回归速率 | 在统计学习理论中，回归问题的最优收敛速率下界。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅