MAX_8被两层ReLU网络精确表示！计算机辅助搜索突破N≥6开放难题
Representing MAX functions using two-hidden-layer ReLU networks
📖 AI 总结
该研究探讨了使用两层隐藏层ReLU神经网络精确表示MAX函数的问题。此前已知MAX_N函数的最佳下界为2层隐藏层，但上界为对数级别，能否用常数层（甚至2层）实现一直悬而未决。作者通过计算机辅助搜索，成功获得了MAX_5至MAX_8的两层隐藏层ReLU表示，其构造基于形如max{∑max(x_a,x_b), ∑max(x_c,x_d)}的项的线性组合，其中内层最大值由第一隐藏层计算，外层最大值由第二隐藏层完成。该结果与近期Ruess等人独立获得的N≤10的表示不同，但思路相近。这一进展为最终确定连续分段线性函数所需隐藏层数的常数上界提供了重要证据，对理解ReLU网络的表达能力具有理论意义。
🔑 关键词速览
| ReLU神经网络 | 一种使用修正线性单元（ReLU）作为激活函数的人工神经网络，常用于分段线性函数的表示。 |
| 两层隐藏层 | 指神经网络中具有两个隐藏层，用于增加模型的表达能力以表示更复杂的函数。 |
| MAX_N函数 | 返回N个输入中最大值的函数，是分段线性函数的一个基本示例。 |
| 分段线性函数 | 定义域被划分为多个线性区域，每个区域上函数为线性函数的函数。 |
| 计算机辅助搜索 | 利用计算机算法系统地搜索可能的解或构造，以辅助数学证明或发现。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅