🔥 今日值得一读 扩散Transformer生成提速3.3倍!零训练新方法还不吃显存!
Memory-Efficient Training-Free Acceleration of Diffusion Transformers with BaryCache
arXiv CV (cs.CV) 🔥 重点 #推理优化#扩散模型#训练方法 🕐 09-01 12:00
👨‍💼 主理人解读 · 为什么值得关注
无需训练即可加速图像/视频生成,减少显存消耗,适合大规模部署或资源受限场景。

📖 AI 总结

该研究提出了一种名为BaryCache的训练无关加速方法,用于提升扩散变换器(DiT)在图像和视频生成中的推理效率。DiT虽能生成高质量内容,但迭代采样过程计算成本高昂,而现有缓存加速手段虽减少冗余计算,却因存储中间状态导致显存占用增加,限制了批处理规模。BaryCache通过重心外推器对采样过程进行逐步预测,在数值上保持稳定,并有效缓解了前向预测中类似龙格现象的振荡伪影。实验表明,该方法在图像和视频生成任务中均实现了显存使用与感知质量间的良好平衡,相比基线DiT推理,端到端采样速度最高提升3.30倍。该成果已被ICITES 2026接收,为资源受限场景下的高效生成模型部署提供了可行方案。

🔑 关键词速览

Diffusion Transformers (DiT)一种基于Transformer架构的扩散模型,用于高质量图像和视频生成。
Barycentric Extrapolator一种利用重心坐标进行外推的数值方法,用于预测后续采样步骤,具有数值稳定性。
Runge phenomenon高次多项式插值在端点附近产生剧烈振荡的现象,影响数值稳定性。
Cache-based acceleration通过缓存中间状态来减少重复计算,从而加速推理,但会增加内存占用。
Training-free acceleration无需额外训练模型即可提升推理速度的方法,适用于现有预训练模型。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅