零遗忘！可回收单元门控让循环网络持续学习动力系统，重构与容量双赢
Continual Learning of Dynamical Systems in Recurrent Neural Networks through Recyclable Unit Gating
📖 AI 总结
本文研究循环神经网络在持续学习动力系统重建（Continual DSR）时面临的灾难性遗忘问题：即使参数发生微小更新，也可能在长时间自主推演中改变模型的定性行为。作者在完全可训练且可解释的Almost-Linear RNN上系统比较了参数正则化、回放和参数隔离三类持续学习方法，发现参数隔离虽最能保留旧任务动态，但为每个任务分配独立单元会迅速耗尽固定容量网络。为此，作者提出“可持续回收单元门控”（CRUG）方法，通过基于L0惩罚训练的可微门控选择任务专属单元，并将未使用单元回收给后续任务，同时利用有向连接让新任务复用旧表征而不干扰已固化单元的动力学。实验表明，CRUG在重建质量与容量利用之间取得最佳权衡，实现零遗忘，并能稳定学习包含非线性与混沌系统的异构任务序列；当任务底层动态相似时，前向迁移更为显著。该方法还可推广至序列认知任务。
🔑 关键词速览
| Dynamical Systems Reconstruction (DSR) | 从时间序列数据中推断出能够再现系统长期定性行为的模型。 |
| Continual Learning (CL) | 一种机器学习范式，模型按顺序学习多个任务，同时保留先前任务的知识。 |
| Almost-Linear RNN (AL-RNN) | 一种几乎线性的循环神经网络，具有完全可训练和可解释的特点，用于动力系统重构。 |
| Continually-Recyclable Unit-Gating (CRUG) | 一种通过可回收单元门控实现持续学习的方法，能紧凑分配网络容量并支持前向迁移。 |
| Forward Transfer | 在学习新任务时，利用先前任务学到的知识来加速或改善新任务学习的能力。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅