语言模型能自我保存能力！回放数据减少遗忘，4B模型选择目标比随机更保准确率
Self-Preservation in Language Models
📖 AI 总结
这篇论文研究语言模型在持续学习中的“自我保存”能力，即模型能否帮助选择保护自身能力的训练目标。作者将任务描述及示例组织为“任务库”，通过冻结模型生成回放数据来指导持续指令微调。基于不同规模Qwen模型的实验得出三项发现：新任务类型和学习率决定哪些原有能力退化，仅看平均准确率会掩盖部分损失；生成的回放能减少任务库之外任务的遗忘，组合部分任务库比单一任务库更能提升已正确回答的平均保留率；模型还能辅助选择回放目标，在4B规模上基于新任务信息的选择优于随机选择，但更小模型无此优势。在固定样本预算下，用回放替代新任务样本可提升保留率，但会牺牲新任务收益。研究意义在于表明模型可通过生成回放数据乃至选择回放任务，在更广范围内支持自身能力的保存。
🔑 关键词速览
| Continual Learning (CL) | 持续学习，一种让模型在适应新任务时保留旧知识的技术。 |
| Replay | 回放，通过重新生成或使用旧数据来防止模型遗忘先前学习的内容。 |
| Task Banks | 任务库，组织任务描述和示例的集合，用于选择和组合以指导回放生成。 |
| Self-Preservation | 自我保存，模型保护自身已有能力免受新任务学习影响的能力。 |
| Continual Instruction Tuning | 持续指令微调，在指令微调过程中持续学习新任务并保留旧任务能力的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅