ReLU网络逼近Sobolev函数误差界突破：深层网络摆脱光滑性限制！
Error bounds in Sobolev norms for approximations with norm constrained ReLU neural networks
📖 AI 总结
该研究将带路径范数约束的ReLU神经网络逼近理论从一致逼近推广到Sobolev范数逼近。作者分析宽度为W、深度为L、路径范数上界为K的网络对Sobolev空间W^{n,p}中函数的逼近能力，误差以W^{1,p}范数度量。对深度L=1的浅层网络，当光滑指数满足n<s=(d+3)/2时，得到逼近误差上界为O(max{W^{-(n-1)/d}, K^{-(n-1)/(s-n)}})；对深层网络，在宽度和深度充分大时去除光滑性限制，误差上界为O(K^{-(n-1)/(d+d/p+1)})。该结果刻画了网络规模与路径范数约束对Sobolev逼近精度的定量影响，为约束型网络的逼近性能提供了理论依据。
🔑 关键词速览
| ReLU神经网络 | 使用修正线性单元（ReLU）作为激活函数的前馈神经网络，因其分段线性特性在逼近论中广泛研究。 |
| Sobolev范数 | 衡量函数本身及其弱导数大小的范数，常用于刻画函数的光滑性，如$W^{n,p}$范数。 |
| 路径范数 | 神经网络中所有从输入到输出的路径上权重乘积之和，用于约束网络复杂度并控制逼近误差。 |
| 逼近误差界 | 描述神经网络逼近目标函数时误差上界的数学表达式，通常与网络宽度、深度和范数约束有关。 |
| 浅层与深层网络 | 浅层网络指仅含一个隐藏层（深度$L=1$）的网络，深层网络指含多个隐藏层的网络，两者逼近能力不同。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅