少步传输+源空间MCMC,预训练生成模型后验采样效率飙升!
Posterior sampling by source-space MCMC via prior-based few-step transport maps
arXiv ML (stat.ML) 重要 #贝叶斯推断#MCMC#生成模型 🕐 今天 12:00

📖 AI 总结

该研究针对贝叶斯推断中仅以样本形式给出的隐式先验(如历史集合、模拟器输出和预训练生成模型),以及测试时引导任务中显式正权重倾斜隐式先验的广义贝叶斯问题,提出了一套源空间广义贝叶斯推断框架。其核心思路是用一步或少步改进的MeanFlow映射表示先验,并在其高斯源空间中执行后验采样。作者建立了精确后验与学习后验之间的Wasserstein误差界,将其分解为训练次优性和模型类近似误差两部分。在采样层面,采用带预条件Crank-Nicolson更新的并行回火方法,并引入结合分裂哈密顿蒙特卡洛的混合变体以提升效率。合成实验表明该框架能准确高效地近似后验分布,CLIP引导的ImageNet实验则验证了其将预训练iMF图像先验导向文本指定偏好的能力。

🔑 关键词速览

MeanFlow (iMF)一种改进的流模型,用于通过少步传输映射表示隐式先验。
源空间 (source space)指高斯源空间,即先验传输映射的输入空间,在此进行后验采样。
并行回火 (parallel tempering)一种马尔可夫链蒙特卡洛方法,通过并行运行不同温度的链来改善混合。
预处理Crank-Nicolson (pCN)一种用于高维贝叶斯推断的MCMC更新方法,保持先验不变性。
分裂哈密顿蒙特卡洛 (split HMC)哈密顿蒙特卡洛的一种变体,通过分裂积分提高采样效率。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅