🔥 今日值得一读
一个CFG尺度不够用！新方法为每次编辑定制引导强度，LPIPS显著提升还不伤CLIP-T
Instance-Specific Classifier-Free Guidance for Text-to-Image Diffusion/Flow-Based Editing
👨💼 主理人解读 · 为什么值得关注
为每次图像编辑自动选CFG尺度，替代固定值，改善编辑保真度与指令遵循的平衡。
📖 AI 总结
该论文研究文本到图像扩散/流模型中的图像编辑问题，指出编辑过程存在遵循原图与实现目标提示修改之间的固有权衡，通常分别用LPIPS和CLIP-T衡量，而这一权衡可由无分类器引导（CFG）尺度控制。作者发现现有编辑方法大多使用固定CFG尺度，忽略了不同编辑所需修改程度不同。通过在基准数据集上以多种CFG尺度反复运行主流编辑方法，作者证明实例特定的CFG设置能在不损害CLIP-T的情况下显著改善LPIPS。为避免反复执行编辑流程带来的低效，作者训练了一个轻量级神经网络，用于预测给定编辑实例和CFG尺度下底层编辑方法的指标，从而在推理时快速选择实例特定的CFG尺度。多方法、多基准实验表明该方法优于基线。
🔑 关键词速览
| Classifier-Free Guidance (CFG) | 无分类器引导，一种在扩散模型中通过调整条件与无条件预测的线性组合来控制生成结果与提示一致性的技术。 |
| LPIPS | 学习感知图像块相似度，一种基于深度特征的感知度量，用于评估编辑后图像与源图像的相似程度。 |
| CLIP-T | CLIP文本相似度，衡量生成图像与目标文本提示之间语义一致性的指标。 |
| Instance-Specific CFG | 实例特定无分类器引导，指针对每个编辑实例动态选择不同的CFG尺度，而非使用固定值。 |
| Text-to-Image Diffusion/Flow Models | 文本到图像扩散/流模型，一类根据文本提示生成图像的生成模型，包括扩散模型和基于流的模型。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅