🔥 今日值得一读
无需梯度！新采样法让生成模型速度飙升，误差仅O(ω^{-1/2})！
Gradient-Free Sampling from Generative Models via Stochastic Bounded Extremum Seeking
👨💼 主理人解读 · 为什么值得关注
当模型梯度不可得或太贵时，可用高频抖动值函数替代得分，实现Langevin与逆向SDE采样。
📖 AI 总结
本文提出一种无需计算模型梯度的采样方法，适用于能量模型和基于分数的生成模型。其核心思路是用模型值的高频抖动余弦项替代原本包含分数函数的漂移项，在高频平均极限下，该方法分别还原为能量模型的朗之万蒙特卡洛采样和分数扩散模型的反向时间随机微分方程。作者证明，抖动伊藤随机微分方程的轨迹在紧时间区间上依概率一致收敛于目标方程，并给出显式的均方收敛速率。该方法不局限于光滑目标，可扩展至曲率不连续的C^{1,1}能量及Hessian仅几乎处处存在的Sobolev能量。研究指出，无梯度像素空间采样在实际评估预算下不及基于反向传播的采样器，其优势体现在模型为黑箱且目标随时间漂移的潜空间采样场景，并在CelebA-HQ和CIFAR-10上进行了验证。
🔑 关键词速览
| Gradient-Free Sampling | 无需计算模型梯度即可进行采样的方法，适用于黑箱模型。 |
| Stochastic Bounded Extremum Seeking | 一种随机有界极值搜索技术，用于无梯度优化和采样。 |
| Langevin Markov Chain Monte Carlo | 基于 Langevin 动力学的马尔可夫链蒙特卡洛方法，常用于能量模型采样。 |
| Reverse-Time SDE | 反向时间随机微分方程，用于基于分数的扩散模型生成。 |
| Itô SDE | 伊藤随机微分方程，描述随机过程的微分形式。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅