给深度网络加个偏置，噪声敏感性照样扛住，输入不重合就成立！
Annealed correlation and quenched noise sensitivity in biased deep neural networks
📖 AI 总结
该论文研究带偏置的全连接深度神经网络对输入扰动的敏感性。作者在先前无偏置网络研究的基础上，为每层加入自然量级的独立高斯偏置，考察退火与淬火两种噪声敏感性是否保持。主要发现是：在输入与扰动满足正相关条件、且二者渐近不相同的较弱假设下，淬火噪声敏感性在较宽的深度范围内依然成立，这一条件比此前要求的“扰动不等于原输入或其相反数”更宽松；同时退火协方差始终远离零，且其来源可完全归因于网络相关输出均值的波动。该结果将噪声敏感性结论从无偏置情形推广到带偏置网络，明确了淬火敏感性成立所需的最小条件，对理解深层网络输出对输入微小变化的稳定性具有理论意义。
🔑 关键词速览
| 退火噪声敏感性 | 指网络输出对输入噪声的敏感性在平均意义下（对噪声分布取平均）的表现。 |
| 淬火噪声敏感性 | 指网络输出对输入噪声的敏感性在固定噪声实现下的表现，通常更强。 |
| 正相关条件 | 输入与扰动之间的相关性满足一定正相关性的假设。 |
| 高斯偏置 | 神经网络中偏置项服从高斯分布。 |
| 退火协方差 | 在退火意义下（对噪声分布取平均）网络输出的协方差。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅