AdamW优化器藏着“记忆炸弹”！小批量梯度影响竟能跨步骤引爆损失，新框架精准预测延迟冲击
Finite-Horizon Input-Output Dynamics of Minibatch Perturbations in AdamW
👨💼 主理人解读 · 为什么值得关注
建模AdamW中小批量扰动对后续训练的延迟影响，帮助理解优化器状态动态。
📖 AI 总结
该研究探讨了AdamW优化器中小批量梯度扰动对训练的延迟影响。由于AdamW在优化器状态中存储历史梯度信息，一个批次的影响会延续到后续多个更新步骤。作者将AdamW建模为有限时域输入-状态-输出系统，通过线性化联合动力学推导出符号响应算子，用以映射局部梯度扰动对未来损失的影响，揭示优化器记忆如何塑造这些影响的幅度、时序和符号。研究还推导了精确的多步误差分解，并在局部光滑性和受控激活切换条件下建立了有限时域的一阶精度保证。实验验证了响应机制和优化器状态效应，并发现延迟影响中存在可被近似恢复的前瞻性结构。这项工作为理解AdamW的优化器记忆效应提供了理论框架，对改进训练动态分析和超参数选择具有参考价值。
🔑 关键词速览
| AdamW | 一种改进的Adam优化器，通过解耦权重衰减来提升泛化性能。 |
| 有限时域输入-状态-输出（ISO）系统 | 一种系统模型，描述在有限时间范围内输入如何通过状态影响输出，用于分析动态行为。 |
| 有符号响应算子 | 一个线性化算子，将梯度扰动映射到未来损失变化，并保留符号信息以指示影响方向。 |
| 多步误差分解 | 将总误差分解为多个步骤的贡献，用于精确分析优化过程中的误差累积。 |
| 前瞻性结构 | 延迟影响中可预测的未来模式，可通过近似模型部分恢复。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅