SAGA用稀疏自编码器锚定表示，CIFAR-100准确率比最强基线高12.15个百分点！
Sparse Autoencoders Can Induce Local Geometry for Mitigating Catastrophic Forgetting
📖 AI 总结
该论文针对监督式持续学习中的灾难性遗忘问题，提出稀疏自编码器几何锚定方法（SAGA）。其核心思路是在每个任务边界训练稀疏自编码器，将其转化为对表示漂移的局部低秩约束：由回放样本确定约束作用的位置，由编码器雅可比矩阵的主要右奇异方向确定受惩罚的变化方向，从而形成依赖输入且无需在后续任务中保留自编码器的几何约束。作者建立了该方法与潜在代码匹配的局部关系，定义了谱截断误差，并推导了冻结读出漂移的条件界。在三个预训练ViT-B/16基准上，结合回放与快照历史，该方法在CIFAR-100、CUB-200和ImageNet-R上分别比最强传统基线提升12.15、4.79和3.22个百分点，取得最高平均Class-IL准确率和最低平均遗忘；从零训练的结果则较为混合，秩消融与几何控制实验表明SAE诱导的低秩几何能提供有效的稳定性—可塑性权衡。
🔑 关键词速览
| 灾难性遗忘 | 神经网络在学习新任务时突然丢失先前任务知识的现象。 |
| 稀疏自编码器 (SAE) | 一种通过稀疏性约束学习紧凑表示的自编码器，常用于特征提取和表示学习。 |
| 几何锚定 (SAGA) | 本文提出的方法，利用SAE将表示漂移约束为局部低秩几何结构，以缓解灾难性遗忘。 |
| 表示漂移 | 模型在适应新任务时内部表示发生的偏移，导致旧任务性能下降。 |
| Class-IL | 持续学习中的类别增量学习设定，要求模型在测试时能区分所有已见类别。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅