🔥 今日值得一读
LoRA秩高却学不动？MuLoRA破解谱可塑性崩溃，16项指标15项夺冠！
MuLoRA: Spectrally Balanced Low-Rank Adaptation for Continual Learning
👨💼 主理人解读 · 为什么值得关注
解决LoRA持续学习中有效秩退化问题，让新任务适配更充分，适合多任务顺序微调场景。
📖 AI 总结
本文提出MuLoRA方法，用于解决持续学习场景下低秩适配（LoRA）的适应能力退化问题。作者识别出一种“谱可塑性坍缩”现象：在顺序任务适配过程中，更新能量逐渐集中于少数奇异模态，导致大量低秩空间未被有效利用，说明仅靠避免干扰不足以维持对新任务的响应能力。MuLoRA通过历史白化构建任务自适应基，并对动量更新施加近似极正交化以降低谱集中度，从而同时调控容量分配与利用效率。理论层面，作者给出了精确子空间选择的极大极小刻画及跨步各向异性下的累积谱界。在五个类增量基准、八种增量设置中，MuLoRA在16项指标中的15项取得最高平均准确率，表明其在缓解谱坍缩、提升持续学习性能方面具有显著效果。
🔑 关键词速览
| 低秩适应 (LoRA) | 一种参数高效的微调方法，通过低秩矩阵分解来适应大模型，减少训练参数。 |
| 持续学习 (Continual Learning) | 模型按顺序学习多个任务而不遗忘先前知识的学习范式。 |
| 谱可塑性崩溃 (Spectral Plasticity Collapse) | 在顺序适应中，更新能量集中于少数奇异模式，导致低秩空间利用不足的现象。 |
| 历史白化 (Historical Whitening) | 一种预处理技术，用于识别相对于历史响应具有强当前任务响应的输入方向。 |
| 极正交化 (Polar Orthogonalization) | 一种矩阵分解方法，用于减少更新中的谱集中，促进正交性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅