🔥 今日值得一读
约束微调仍会遗忘！功能路径分析揭示保留失效关键
Why Constrained Updates Still Forget: A Functional-Path Analysis of Continual SFT
👨💼 主理人解读 · 为什么值得关注
解释持续微调为何仍遗忘并给出预算准则，开发者可据此设计更稳的模型迭代微调策略。
📖 AI 总结
该论文研究持续监督微调中的灾难性遗忘问题，指出既有方法虽对参数、梯度或回放目标施加约束，但受保护对象、更新轨迹与保留输出之间的关系仍不清晰。作者提出功能路径分析框架，将旧损失变化沿实际更新分解为受控方向、梯度陈旧性、探针失配和有限步效应四部分，据此给出条件性刷新预算，并识别信息性回放提供的恢复方向。基于QLoRA的匹配干预实验发现，约束放置于Adam前后对保留效果影响显著，而约束粒度与端点的交互依赖具体设置；检查点生成实验区分了端点恢复与采样路径准确率，匹配回放实验揭示了最终分数掩盖的损失暴露。顺序任务比较进一步表明，子空间正则与投影改善平均保留但在不同旧任务间存在权衡，监督回放则更稳定地保护新旧任务。研究将更新层面的保护与任务层面行为联系起来，主张通过显式功能锚点、轨迹评估及新旧任务联合审计来缓解遗忘。
🔑 关键词速览
| 监督微调 (Supervised Fine-Tuning, SFT) | 在标注数据上继续训练预训练语言模型以适配特定任务的过程。 |
| 功能路径分析 (Functional-Path Analysis) | 一种将旧损失变化沿实际更新轨迹分解为受控方向、梯度陈旧性、探针不匹配和有限步效应的方法。 |
| QLoRA | 一种高效微调技术，通过量化基础模型和低秩适配器减少内存占用。 |
| 回放 (Replay) | 在持续学习中，通过重新访问旧任务数据或生成伪数据来缓解灾难性遗忘的技术。 |
| 后向迁移 (Backward Transfer) | 学习新任务后对旧任务性能的影响，通常指旧任务准确率的变化。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅