🔥 今日值得一读
扩散=最优传输退火！熵正则温度随噪声自动调低，模式涌现竟有指数级薄边界层！
Some remarks on the connection between generative diffusion and optimal transport
👨💼 主理人解读 · 为什么值得关注
帮助理解扩散与流匹配的采样机理与模式涌现，指导生成模型设计与调参。
📖 AI 总结
本文探讨生成扩散模型与最优传输之间的三重联系。首先，作者指出数据及其Ornstein-Uhlenbeck加噪过程的联合分布，在每一时刻都是熵正则化最优传输问题的解，其温度由噪声水平决定，因此反向扩散可视为逐步降低熵正则化强度的退火过程。其次，文章研究数据分布各模态在生成过程中的“物种形成”转变，以高斯混合模型为高维实例，比较扩散、流匹配与最优传输的差异，发现扩散和流匹配通过动力学不稳定性分离模态，而最优传输则表现为生成初期一个指数级薄的边界层，并被熵正则化所平滑。第三，针对具有一般约束势的前向动力学，作者证明由分数驱动的反向过程同样满足基于漂移的变分原理，其最小代价等于初始与最终分布之间的熵差。
🔑 关键词速览
| 生成扩散 | 一类生成模型，通过逐步加噪再反向去噪来从噪声中生成数据。 |
| 最优传输 | 研究如何以最小代价将一种概率分布变换为另一种分布的数学理论。 |
| 熵正则化 | 在最优传输问题中加入熵项以平滑解并提高计算稳定性的技术。 |
| Ornstein-Uhlenbeck过程 | 一种均值回归的随机过程，常用于扩散模型中对数据加噪。 |
| 流匹配 | 一种生成建模方法，通过匹配概率流的速度场来学习从噪声到数据的映射。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅