无需训练！扩散模型生成多样性飙升，MS-COCO和BrushNet双双验证有效
Controllable Diverse Sampling through Pullback Directions
📖 AI 总结
该研究针对条件扩散模型在图像生成中多样性不足的问题提出解决方案。尽管这类模型能生成与提示高度一致的高质量图像，但不同随机种子产生的样本往往视觉上高度相似，限制了创意探索空间。现有方法虽可提升多样性，却通常需要额外优化或采样开销，而强扰动又可能引入失真，损害图像质量与提示对齐度。为此，作者提出一种免训练方法，利用条件嵌入空间到图像空间映射所诱导的局部拉回几何结构，识别输出敏感度最大的方向，并引导不同采样轨迹沿这些方向演化，从而在保持与条件信号一致的前提下促进生成结果的差异化。在MS-COCO和BrushNet上的实验验证了该方法在提升提示条件图像生成及图像修复多样性方面的有效性。该工作为可控多样化采样提供了新思路，被NeurIPS 2026 DynaFront研讨会接收。
🔑 关键词速览
| 条件扩散模型 | 一种生成模型，根据给定的条件（如文本提示）逐步去噪生成图像。 |
| 拉回几何 | 通过映射将输出空间的结构拉回到输入空间，用于分析输入变化对输出的影响。 |
| 条件嵌入空间 | 将条件信号（如文本提示）编码成的向量表示空间。 |
| 采样轨迹 | 扩散模型生成图像时，从噪声到图像的逐步去噪路径。 |
| 图像修复 | 根据给定条件填充或修复图像中缺失或损坏部分的任务。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅