ReLU网络随机初始化竟自带仿射几何结构，训练后类内开关减少、类间增加！
Affine Geometry of Gaussian ReLU Networks via Conditional Kac-Rice Formulas
📖 AI 总结
该研究探讨有限宽度ReLU网络在随机初始化时仿射几何结构的形成，以及监督训练对其的重组方式。作者将隐藏层预激活的变号零点定义为激活开关，将网络标量输出不可导的点定义为标量折点。针对一维输入，通过对前序层条件化，使每个预激活在随机有限划分的单元上呈高斯仿射分布，由此导出精确的有限宽度条件Kac-Rice公式，用于计算输入区间内激活开关的期望数量。在深度固定、宽度按比例增长的条件下，开关强度收敛到显式的确定性极限。可见性估计表明，不产生标量折点的开关数量可忽略，从而给出标量折点及仿射区域期望数量的显式主项公式。在高维输入情形下，类似的条件下曲面公式给出标量折点集(d-1)维Hausdorff测度的主项期望。在威斯康星乳腺癌数据集上，初始化公式能准确预测留出片段上的开关数量；训练后，类内片段上的开关数减少，类间片段上的开关数增加。这表明训练并非单纯压缩仿射复杂度，而是对其进行了重新分配。
🔑 关键词速览
| ReLU网络 | 使用修正线性单元（ReLU）作为激活函数的前馈神经网络，其输出是分段仿射函数。 |
| 激活开关 | 隐藏层预激活的变号零点，即预激活值从正变负或从负变正的点。 |
| 标量扭结 | 标量网络输出不可微的点，通常对应于仿射区域之间的边界。 |
| Kac-Rice公式 | 一种用于计算随机过程或随机场零点期望数量的积分公式。 |
| 仿射区域 | 网络输出为仿射函数的输入空间区域，由标量扭结分隔。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅