病态逆问题后验精度差？VAE-JSWA误差显著更低！
Variational objectives for amortized Bayesian inference in inverse problems: The role of posterior conditioning
📖 AI 总结
本文研究变分自编码器用于逆问题摊销贝叶斯推断时，变分正则化选择对后验精度的影响，重点关注后验条件数的作用。作者比较了三种目标函数：反向KL形式（VAE-KL）、非对称Jensen-Shannon形式（VAE-JS）以及用平方2-Wasserstein距离替换反向KL正则项、同时保留前向KL后验监督的Jensen-Shannon-Wasserstein形式（VAE-JSWA），并采用全协方差高斯编码器和预训练物理代理模型。研究在广义Fisher基下建立局部线性高斯分析，刻画三种目标的方差相关梯度。在线性高斯基准上，良态情形下三者表现相当，VAE-KL略优；在强病态基准上，VAE-JSWA的后验误差显著更低。非线性物理逆问题（含线性ODE及两个PDE约束问题）呈现类似的条件数依赖趋势，后验越病态，JS类目标优势越明显。结果表明后验条件数是选择变分目标的重要因素，并支持发展几何自适应变分推断方法。
🔑 关键词速览
| Amortized Bayesian Inference | 摊销贝叶斯推断：训练一次网络即可对任意观测快速给出后验近似，避免逐样本重新推断。 |
| Variational Autoencoder (VAE) | 变分自编码器：用编码器近似后验、解码器建模似然的生成模型，常用于高效后验推断。 |
| Reverse Kullback-Leibler (KL) Formulation | 反向KL形式：以KL(q||p)作为正则项，倾向于覆盖后验的单一模态，易低估不确定性。 |
| Jensen-Shannon (JS) Divergence | Jensen-Shannon散度：对称且有界的分布差异度量，相比KL对病态后验更稳健。 |
| 2-Wasserstein Distance | 2-Wasserstein距离：考虑几何结构的分布距离，对协方差差异敏感，适合病态后验匹配。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅