大脑不对称+睡眠机制让AI持续学习不遗忘,三数据集准确率98.3%!
In Two Minds about Lifelong Learning: Exploring Hemispheric Redundancy and Specialisation in Neural Models
arXiv LG (cs.LG) 重要 #持续学习#神经网络#冗余性 🕐 08-21 12:00
👨‍💼 主理人解读 · 为什么值得关注
探索神经网络的半球冗余与特化机制,借鉴生物学习,缓解持续学习中的遗忘-适应权衡。

📖 AI 总结

这篇论文针对机器学习在持续学习能力上的不足,提出了一种受生物启发的宏观架构。当前算法常面临灾难性遗忘,即难以在保留旧知识与适应新数据间取得平衡,而生物系统却能持续学习。作者借鉴经验回放、快速眼动睡眠和大脑双侧性三个生物学概念,构建了名为4MAS的模块化架构。该架构模拟不对称的大脑半球,每个半球配备独立的长期与短期记忆机制,并在增量学习任务间引入“睡眠”阶段以巩固记忆。实验结果显示,该模型在Split-MNIST、Split-Fashion-MNIST和Split-CIFAR-100数据集上分别达到98.3%、84.9%和29.29%的准确率,取得了具有竞争力的表现。这项研究为设计更稳健的持续学习系统提供了新思路,表明借鉴神经科学原理能有效缓解机器学习中的遗忘问题。

🔑 关键词速览

持续学习一种机器学习范式,使模型能够在不遗忘先前知识的情况下不断学习新任务。
灾难性遗忘神经网络在学习新信息时迅速丢失旧知识的现象。
经验回放一种通过重放过去经验来巩固记忆的技术,常用于强化学习和持续学习。
快速眼动睡眠睡眠阶段之一,与记忆巩固相关,在梦中出现快速眼球运动。
4MAS本文提出的4模块清醒/睡眠宏观架构,模拟不对称半球和睡眠周期以增强持续学习。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅