双向引导让摘要统计量越学越准,观测规模再大也能精准恢复后验分布!
Two-way Guidance: Simultaneous Learning of Summary Statistics for Generative Bayes
arXiv ML (stat.ML) 重要 #贝叶斯推断#模拟推断#充分统计量#生成模型 🕐 今天 12:00

📖 AI 总结

本文提出一种面向生成式贝叶斯模拟推断(SBI)的新思路:将充分摘要统计量的学习与后验学习联合进行,而非依赖预先设定的降维摘要。作者发现了一种称为“双向引导”的机制——在摘要统计量受到结构性约束时,其学到的后验充分性会简化后验学习,而合适的后验目标又会反过来引导摘要统计量趋向充分性。这一机制解释了一个反直觉现象:对摘要统计量施加结构限制反而提升了后验学习效果,而非限制其性能。研究进一步给出了后验估计误差与所学摘要偏离充分性程度的理论保证,并明确了在观测规模不断增大、后验日益集中的情况下,恢复后验所需的模拟预算条件。该工作为可扩展的 SBI 提供了理论支撑。

🔑 关键词速览

基于模拟的贝叶斯推断 (SBI)一种利用模拟数据来近似贝叶斯后验分布的方法,适用于似然函数难以计算的情况。
充分摘要统计量能够包含数据中关于参数全部信息的统计量,用于降低数据维度而不丢失后验信息。
双向引导本文提出的机制,指后验学习与摘要学习相互促进:结构限制简化后验学习,后验目标引导摘要趋向充分性。
后验充分性指摘要统计量包含后验分布所需的全部信息,使得基于摘要的后验与基于全数据的后验一致。
模拟预算在基于模拟的推断中,可用于生成模拟数据的计算资源或样本数量,影响推断的准确性。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅