Diffu-LoRA让扩散模型个性化只需少量图，主体保真和提示对齐双提升！
Diffu-LoRA: A Novel Low-Rank Adaptation for Personalized Diffusion Models
📖 AI 总结
本文提出 Diffu-LoRA，一种面向个性化文本到图像扩散模型的参数高效适配方法。针对现有低秩适配（LoRA）未解决适配容量如何在各层间分配的问题，该方法在 Transformer 块的线性层中插入可训练低秩组件，并为每个组件引入可学习门控，通过双层优化在不同数据划分上分别更新适配权重与门控参数，再以渐进剪枝移除门控值最低的组件，从而在预设秩预算下实现跨层非均匀的容量分配，同时保持预训练主干冻结。在 Stable Diffusion 上基于 DreamBooth 及额外收集数据集的实验显示，该方法在主体保真度和提示对齐方面均优于所评估的微调基线，消融实验进一步验证了双层优化、渐进剪枝与适配器放置的贡献，表明学习式秩分配是扩散模型个性化的一种实用途径。
🔑 关键词速览
| Diffu-LoRA | 一种用于个性化扩散模型的参数高效低秩适应方法，通过门控机制学习层间适应容量的分配。 |
| 低秩适应 (LoRA) | 一种参数高效微调技术，通过向模型层注入可训练的低秩矩阵来减少可训练参数数量。 |
| 双层优化 | 一种优化策略，在单独的数据划分上交替更新适应权重和门参数，以学习最优的层间分配。 |
| 渐进剪枝 | 一种逐步移除门值最低的适应组件的方法，以满足预设的秩预算并实现非均匀分配。 |
| Stable Diffusion | 一种流行的文本到图像扩散模型，本文将其作为个性化任务的预训练骨干网络进行实验。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅