87.29%精度逼近联合训练上限！GAP-Prompt用实例级门控提示破解灾难性遗忘
GAP-Prompt: Gated Adaptive Prompting for Efficient Continual Learning
📖 AI 总结
本文提出了一种名为GAP-Prompt（门控自适应提示）的新方法，用于解决持续学习中的灾难性遗忘问题。与依赖静态、任务级提示策略的现有方法不同，GAP-Prompt引入了实例级适应性，通过三个协同模块实现：实例条件门控动态决定每个图像的最佳提示注入层；动态知识融合对当前和历史提示进行实例感知聚合，促进跨任务知识整合；共享提示蒸馏在早期共享层锚定基础知识以缓解遗忘。在CIFAR-100、ImageNet-R和CUB-200基准上的广泛评估显示，GAP-Prompt持续达到最先进性能。尤其在细粒度CUB-200数据集上，该方法达到87.29%的准确率，接近联合训练上限（88.00%），并显著优于现有方法。这项工作为持续学习中提示策略的细粒度自适应提供了新思路，展示了实例级动态提示在提升模型泛化与知识保留方面的潜力。
🔑 关键词速览
| Catastrophic Forgetting | 灾难性遗忘，指模型在学习新任务时忘记旧任务知识的现象。 |
| Prompt-based Methods | 基于提示的方法，利用可学习的提示参数引导预训练模型适应新任务，无需微调全部参数。 |
| GAP-Prompt | 门控自适应提示，本文提出的方法，通过实例级门控和动态知识融合增强持续学习性能。 |
| Instance-level Adaptability | 实例级适应性，指根据每个输入样本动态调整模型行为的能力。 |
| Knowledge Distillation | 知识蒸馏，通过将教师模型的知识迁移到学生模型来压缩或保留信息的技术。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅