神经网络稳定性新突破！数学半群法给出显式扰动界，训练更可控
The role of parameter Jacobians in the stability of network outputs
📖 AI 总结
该研究探讨了网络动力学中参数雅可比矩阵对输出稳定性的作用，提出在线性化动力学框架下，输入输出模型的时间演化可自然表示为希尔伯特空间上的线性算子半群及相应扰动。作者针对神经正切核（NTK）设置中的固定核线性化构造，给出了新的显式先验扰动界，以有限时间扰动估计形式提供半群扰动的范数界。研究还细化了指定任务空间上的结果，引入Cesàro平均（遍历）比较估计，并将低谱边缘假设替换为谱分布条件。此外，作者将比较方法扩展到非自治NTK演化，通过分段冻结近似实现，并给出离散欧拉特化及算例验证。该工作为理解神经网络训练的稳定性提供了数学基础，对深度学习理论分析具有参考价值。
🔑 关键词速览
| neural tangent kernels (NTK) | 神经正切核，一种用于分析神经网络训练动态的核方法，将网络输出近似为线性模型。 |
| semigroup formulation | 半群表述，利用算子半群理论描述线性动力系统的演化过程。 |
| perturbation-bound estimates | 扰动界估计，用于量化系统在扰动下输出变化的界限。 |
| Cesàro-averaged (ergodic) comparisons | Cesàro平均（遍历）比较，通过时间平均来比较不同演化过程的长期行为。 |
| nonautonomous NTK evolutions | 非自治NTK演化，指核或参数随时间变化的神经正切核动态过程。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅