扩散模型在视觉生成领域表现突出,但推理速度慢是其主要瓶颈。现有可控生成模型如ControlNet采用双分支结构,导致蒸馏困难,难以实现单步生成。该研究提出新策略:不增加额外条件分支,而是微调原文本到图像扩散模型中的部分层,直接赋予其可控生成能力,得到单流多步模型DeltaControl,在支持空间条件生成的同时达到双分支方法的性能水平。在此基础上进一步应用步数蒸馏,获得单步模型FlashControl,仅需一次前向传播即可完成空间可控生成。该工作为可控生成的低延迟推理提供了可行路径,并被NeurIPS 2026接收。
| 扩散模型 | 一类通过逐步去噪过程生成数据的生成模型,在图像生成中表现优异但推理速度较慢。 |
| 可控生成 | 在生成过程中引入额外条件(如空间布局、边缘图等)以控制生成结果的内容和结构。 |
| 蒸馏 | 一种模型压缩技术,通过训练学生模型模仿教师模型的行为来减少推理步骤或模型大小。 |
| ControlNet | 一种双分支可控生成模型,通过复制扩散模型编码器并添加条件分支来实现空间控制。 |
| 单流 | 指模型仅使用单一网络流(而非双分支)处理条件和生成,简化了架构并便于蒸馏。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅