扩散模型首次一阶理论：SDE反向扩散指数级碾压ODE！
First-Order Stationarity of Reverse Diffusions
📖 AI 总结
本文建立了扩散模型的一阶理论，将优化与采样之间的类比关系进一步深化。作者针对过阻尼与欠阻尼Langevin扩散的SDE反向时间流，证明当正向过程的平稳势函数满足强凸性时，反向Fisher散度以显式指数速率收缩。这一强凸条件取决于所选择的加噪过程而非数据本身，构成SDE反向扩散区别于ODE反向过程的独特优势。在此基础上，作者引入离散化分析，为两类扩散模型的采样器建立了平均一阶平稳性界，相当于非凸优化中平均梯度范数保证的采样对应物。该无凸性依赖的保证是局部性的，仅确保得分一致性，而不涉及全局模态权重。
🔑 关键词速览
| Reverse Diffusions | 反向扩散，指扩散模型中将加噪过程逆转以生成样本的随机过程。 |
| Langevin Diffusions | 朗之万扩散，一类用于采样和优化的随机微分方程，包含过阻尼和欠阻尼两种形式。 |
| Relative Fisher Divergence | 相对Fisher散度，衡量两个概率分布之间差异的一种信息论度量。 |
| First-Order Stationarity | 一阶平稳性，指优化或采样过程中梯度（或得分）范数趋于零的条件，常用于非凸优化分析。 |
| Score Consistency | 得分一致性，指估计的得分函数与真实得分函数在局部区域内的匹配程度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅