该研究针对流匹配扩散模型提出了一种无需大规模训练数据的微调方法,用于实现逼真的人工光照建模。研究聚焦于可控室内图像编辑任务,目标是在开启或关闭人工光源的同时,保持场景几何结构、物体布局、材质及原始图像的视觉一致性。为此,作者将任务分解为两个独立形式,提出LoRA方向训练方法,从扩散模型流场中提取LoRA适配器效应的纯方向,并引入专门的损失函数以确保逆变换的真实性。此外,生成的增量图被用于更精确地调整光照颜色与色温。该工作为基于FLUX.1 Kontext的可控光照切换提供了新思路,在保持图像身份一致性的前提下实现了光照的灵活编辑。
| 流匹配扩散模型 | 一种基于连续时间流场的生成模型,通过学习从噪声到数据的确定性变换来生成图像。 |
| LoRA方向训练方法 | 一种微调技术,通过提取低秩适配器在扩散模型流场中的纯方向效应,实现可控的图像编辑。 |
| 可控室内图像编辑 | 在保持场景几何、物体布局和材质不变的前提下,对室内图像的光照等属性进行编辑的任务。 |
| 增量图 | 表示光照变化量的映射图,用于精确调整光照颜色和色温。 |
| 逆变换 | 将编辑后的图像恢复为原始状态的过程,确保编辑操作的可逆性和真实性。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅