去噪得分匹配直接学边缘得分，DIVI降成本还超UIVI基线！
Denoising Implicit Variational Inference
📖 AI 总结
本文提出去噪隐式变分推断（DIVI）方法，旨在解决半隐式变分推断中边缘得分难以计算、导致ELBO优化困难的问题。现有UIVI等方法通过反向条件采样或近似间接估计得分，计算成本高且不稳定。DIVI改用去噪得分匹配直接学习边缘得分，并将其作为插件估计量代入路径wise ELBO梯度，以得分网络评估替代内层反向条件采样。作者将DIVI分析为不精确随机梯度上升，证明在给定假设下平均平稳性度量受优化项与平均得分匹配误差控制。在合成分布和多种真实数据贝叶斯推断任务上的实验表明，DIVI优于现有UIVI基线，同时降低了ELBO梯度估计成本。
🔑 关键词速览
| Semi-implicit variational inference (SIVI) | 一种变分推断方法，通过半隐式分布扩展变分族的表示能力，但边缘得分难以计算。 |
| Evidence Lower Bound (ELBO) | 变分推断中用于近似对数边缘似然的下界，是优化的目标函数。 |
| Denoising score matching | 一种直接学习得分函数（对数密度的梯度）的方法，通过去噪数据来匹配得分。 |
| Pathwise ELBO gradient | 通过重参数化技巧得到的ELBO梯度估计，通常用于变分推断的优化。 |
| Unbiased Implicit Variational Inference (UIVI) | 一种隐式变分推断方法，通过重参数化梯度提供无偏的ELBO梯度估计，但需要反向条件采样。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅