临界初始化竟让二阶导数方差随深度线性爆炸，三阶递归首次精确闭合！
Critical initialization destabilizes higher input derivatives in wide scalar-input networks
📖 AI 总结
该研究探讨了宽随机初始化网络中临界初始化（edge-of-chaos）对高阶输入导数的影响。作者针对光滑标量输入全连接网络，利用无限宽极限下有限导数喷流的联合高斯性，推导了精确到三阶的平均场递归关系，并给出随深度几何衰减的有限深度修正。关键发现是：在临界点处，一阶导数方差与深度无关，但只要激活函数具有非零曲率，二阶导数方差便随深度线性增长，这一增长规律经数值模拟验证。对于分支尺度为L^{-1/2}的残差网络，作者证明在显式正则性假设下，任意固定有限阶导数的方差均一致有界。该结果对物理信息损失、分数匹配及导数正则化等依赖高阶导数的训练方法具有直接意义，但仅涉及初始化阶段，不涉及训练后网络性能。
🔑 关键词速览
| edge-of-chaos | 混沌边缘，指神经网络初始化时信号传播既不完全衰减也不爆炸的临界状态。 |
| mean-field recursions | 平均场递归，描述无限宽网络中信号统计量随深度演化的递推关系。 |
| derivative jet | 导数喷流，指函数在某点的各阶导数构成的集合。 |
| variance fixed point | 方差不动点，指网络信号方差在深度传播中保持不变的状态。 |
| residual networks | 残差网络，一种通过跳跃连接缓解梯度消失的深度网络结构。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅