扩散模型新突破：内部引导不改去噪器输出，单网络免微调搞定二元奖励、类别标签和填充！
Internal Guidance as a Sampling Method for Tilted Diffusion Models
📖 AI 总结
该论文提出一种名为“内部引导”的扩散模型采样方法，用于从基础密度的指数倾斜分布中采样。现有奖励引导方法依赖外部引导，即在漂移项中加性修正或在转移概率上乘性调整；新方法则保持基础去噪器输出不变，转而改变其求值点。作者证明，对于嵌入超立方体的离散分布，任意线性倾斜密度的去噪器恰为基去噪器在平移缩放输入处的取值。由于这些求值点相对基础分布加噪属于分布外，他们修改训练算法，对数据施加随机对角缩放，使网络同时学习分布内与分布外的去噪评估。实验表明，单一去噪网络无需微调或外部引导项，即可完成二值奖励倾斜、类别标签采样和填充任务。
🔑 关键词速览
| 指数倾斜 (Exponential Tilt) | 一种通过乘以指数权重函数来调整概率密度的方法，常用于奖励引导采样。 |
| 扩散模型 (Diffusion Model) | 一类生成模型，通过逐步去噪从噪声中恢复数据分布。 |
| 去噪器 (Denoiser) | 扩散模型中用于从加噪样本预测干净样本的神经网络组件。 |
| 内部引导 (Internal Guidance) | 本文提出的方法，通过改变去噪器的评估点而非修改输出来实现引导采样。 |
| 分布外 (Out-of-Distribution) | 指测试样本来自与训练数据不同的分布，可能导致模型性能下降。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅