本文提出Abstract-LoRA,一种面向单图像风格迁移的轻量化方法,通过在扩散模型U-Net的特定模块上进行LoRA训练,实现风格与内容的更优解耦。研究指出,现有多图像风格迁移方法通常需要五到十张风格样本才能取得较理想效果,而单图像方法往往难以兼顾内容保持与风格还原,限制了稀缺艺术作品的风格提取与艺术价值发挥。该方法在B-LoRA基础上改进,针对其无法捕捉复杂背景的缺陷,引入更多U-Net模块并结合基于聚类的风格图像抽象,以更精细地平衡风格与内容。实验表明,该方法在视觉上生成更和谐的艺术图像,并在定量指标上同时提升了风格与内容的保持效果。
| Diffusion Models | 扩散模型,一类通过逐步去噪过程生成图像的生成模型,是当前生成式AI的核心技术之一。 |
| LoRA | 低秩适应,一种轻量级微调技术,通过向模型注入低秩矩阵来高效调整预训练模型,减少训练参数。 |
| U-Net | U-Net,一种常用于图像生成的编码器-解码器网络结构,在扩散模型中负责逐步去噪生成图像。 |
| Style Transfer | 风格迁移,将一幅图像的艺术风格应用到另一幅图像上,同时保留其内容结构。 |
| B-LoRA | B-LoRA,一种基于LoRA的风格迁移方法,通过训练特定U-Net模块实现风格与内容的初步解耦。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅