循环神经网络学习竟能重塑动力学，从混沌到稳定，DMFT理论精确预测转变临界点！
Learning-Induced Dynamical Transition in Recurrent Neural Networks
📖 AI 总结
本文提出一种非平衡动力学平均场理论，用于描述循环神经网络在学习过程中底层动力学的转变。研究发现，缓慢的反馈驱动学习过程会产生一个不断演化的有效反馈强度，当该强度超过临界值时，网络动力学经由DMFT解的分岔从混沌态转变为稳定态。通过推导整个学习过程中的双时关联函数，作者确定了临界反馈强度以及依赖于学习率的临界时间，二者共同划分了混沌与稳定两种 regime。这一转变源于逐渐增长的学习反馈结构对有效动力学景观的持续形变。该理论能够从初始未训练状态出发预测训练期间网络输出的时间演化，并与数值模拟结果定量吻合。
🔑 关键词速览
| 循环神经网络 (Recurrent Neural Networks) | 一类具有循环连接的人工神经网络，能够处理序列数据并展现复杂的动力学行为。 |
| 动力学平均场理论 (Dynamical Mean-Field Theory, DMFT) | 一种用于研究多体系统非平衡动力学的方法，通过将复杂网络简化为有效单节点问题来捕捉宏观行为。 |
| 分岔 (Bifurcation) | 动力系统参数变化时，系统定性行为（如稳定性）发生突变的现象，此处指混沌与稳定动力学之间的转变。 |
| 双时关联函数 (Two-Time Correlation Function) | 描述系统在不同时间点状态之间相关性的函数，用于刻画学习过程中网络活动的记忆和演化特性。 |
| 有效反馈强度 (Effective Feedback Strength) | 学习过程中由反馈驱动产生的等效参数，控制网络动力学从混沌向稳定转变的关键量。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅