二次神经网络训练告别梯度下降！闭式解提速，还能算出灵敏度下界
Regularized Least Squares Training of Quadratic Neural Networks with Applications to System Identification
📖 AI 总结
本文提出一种带正则化的最小二乘方法，用于训练二次型神经网络。当正则化系数为正时，该方法可给出训练优化问题解的下界，并推导出近似解及其敏感性的闭式表达式；当正则化系数为零时，该下界是紧的，近似解即为最优解。相比反向传播等迭代数值方法，闭式权重表达式能显著缩短计算时间，并避免陷入局部极小值。研究的主要贡献包括：给出权重的解析表达式、权重对数据误差敏感性的解析表达式，以及建立下界优化与核范数最小化之间的联系。作者将该方法应用于非线性系统辨识实例，并将所得下界与最优值进行了比较，验证了方法的有效性。
🔑 关键词速览
| 二次神经网络 | 一种神经元激活函数为二次函数的神经网络，其输出是输入的二次型组合。 |
| 正则化最小二乘 | 在最小二乘目标函数中加入正则化项（如权重范数惩罚）以控制模型复杂度、防止过拟合的训练方法。 |
| 闭式表达式 | 由有限个基本运算和函数构成的显式数学公式，可直接计算，无需迭代求解。 |
| 核范数最小化 | 以矩阵的核范数（奇异值之和）作为正则项或目标函数的优化问题，常用于促进低秩解。 |
| 系统辨识 | 根据系统的输入输出数据建立其数学模型的过程，是非线性系统建模的重要方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅