四分量优化器让目标直降64.7%，解误差砍半50.2%！
A pullback-corrected scalar auxiliary variable optimizer with momentum and adaptive mobility
📖 AI 总结
本文提出一种带回拉校正的标量辅助变量（PB-SAV）优化器，针对科学机器学习中由残差、边界、初始和数据损失等多项组成的复合目标函数。该方法利用各分量梯度构造秩不超过分量数的半正定曲率校正，并将其与动量和自适应迁移率结合，在单次隐式求解中同时作用于梯度与存储动量。理论分析表明，当迁移率按Loewner序非增时，算法满足精确的修正能量定律，并给出固定迁移率下局部稳定性的充要条件及局部几何收敛性；隐式求解可化为以分量数为阶数的稠密线性系统。在正向Burgers方程对比实验中，相同学习率与动量设置下，四分量配置相较单分量将平均尾部目标降低64.7%，最终解误差降低50.2%，验证了多分量校正的有效性。
🔑 关键词速览
| PB--SAV | 回拉校正标量辅助变量方法，一种用于科学机器学习中多分量目标优化的技术，通过标量追踪目标并利用分量梯度构建曲率校正。 |
| 自适应迁移率 | 优化器中根据梯度信息动态调整的迁移率参数，用于控制动量和梯度更新的隐式求解。 |
| Loewner序 | 矩阵之间的偏序关系，用于比较对称矩阵的大小，此处用于定义迁移率的非增性质。 |
| 修正能量定律 | 在优化过程中，由于迁移率的非增性质而精确满足的能量递减关系，保证算法的稳定性。 |
| 局部几何收敛 | 优化算法在驻点附近以几何速率（线性收敛）收敛到局部最优解的性质。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅