🔥 今日值得一读 免训练扩散加速新突破:CacheScope实现3.57倍提速,误差直降70%!
CacheScope: Exact-Compute Allocation for Training-Free Diffusion Acceleration
arXiv LG (cs.LG) 🔥 重点 #扩散模型#推理优化#缓存复用#训练无关加速 🕐 今天 12:00
👨‍💼 主理人解读 · 为什么值得关注
开发者可据此调整扩散模型跳步策略,把精确计算放在关键步而非堆叠重建器,免费提升生成质量。

📖 AI 总结

本文提出 CacheScope,一种无需训练的扩散模型推理加速方法。作者发现,在采用稳定的一阶特征重建器后,继续提升重建复杂度收益有限,而精确计算步骤的放置位置对生成保真度影响更大。研究进一步指出,浅层探针的绝对变化同时受输入轨迹位移与网络响应强度影响,无法直接反映缓存风险;通过用输入位移对探针输出变化进行归一化,可得到单位轨迹移动的方向性增益,作为更可靠的信号。基于该信号,CacheScope 在线识别高风险复用步骤,并选择性回退到完整去噪计算,且不改变底层缓存重建器,无需额外训练、梯度、辅助网络或针对提示词的离线调度优化。在 FLUX.1-dev、Wan2.1-T2V-1.3B 和 Open-Sora 1.2 上,该方法实现最高 3.57 倍加速,并将中位 LPIPS 较最强探针基线最多降低 70.1%。

🔑 关键词速览

扩散Transformer一种将Transformer架构用于扩散模型的生成模型,常用于图像和视频生成。
免训练特征复用在推理时重复使用之前步骤计算的特征,而无需重新训练模型,以加速生成过程。
浅层探针在神经网络浅层插入的轻量级探测模块,用于监测特征变化以评估缓存风险。
LPIPS学习感知图像块相似度,一种基于深度特征的感知度量,用于评估生成图像与真实图像的差异。
FLUX.1-dev一种基于扩散Transformer的先进文本到图像生成模型。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅