深度3网络轻松逼近，深度2却要指数级规模！高斯测度下神经网络深度分离实锤
Depth Separation for Neural Networks under Gaussian Measure
📖 AI 总结
这篇论文重新审视了神经网络的深度分离问题，研究在高维标准高斯测度下对径向函数进行L²逼近的情形。作者证明存在一个径向函数，深度为3的ReLU网络仅需关于维度d的多项式规模即可将其逼近到足够小的固定误差，而深度为2的网络在权重次指数有界的条件下，若想达到同等精度，其规模必须随d指数增长。为得到这一结论，作者给出一个一般性判据：若径向函数在其Hermite展开的高频部分具有显著质量，则无法被小宽度、有界权重的两层网络良好逼近。该结果刻画了深度带来的表达能力优势，且文中全部定理与推论均已在Lean 4中完成形式化验证。
🔑 关键词速览
| 深度分离 (Depth Separation) | 指不同深度的神经网络在表达能力上的本质差异，通常表现为浅层网络需要指数级规模才能逼近深层网络可高效逼近的函数。 |
| 径向函数 (Radial Function) | 指函数值仅依赖于输入向量到原点的欧几里得距离的函数，即具有球对称性。 |
| 高斯测度 (Gaussian Measure) | 标准高斯分布在d维空间上诱导的概率测度，常用于分析高维函数逼近问题。 |
| Hermite展开 (Hermite Expansion) | 将函数按Hermite正交多项式基展开的表示，常用于高斯测度下的L^2函数分析。 |
| Lean 4 | 一种交互式定理证明器，用于形式化数学证明和验证，确保结论的严格正确性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅