PFN半参数推断有偏？新方法去偏后收敛率追平频率学派最优！
Debiased Prior-Data Fitted Networks for Amortized Bayesian Semi-Parametric Inference
📖 AI 总结
该研究针对先验数据拟合网络（PFNs）在半参数目标（如缺失数据下的均值或因果效应）中统计行为不明确的问题，建立了去偏PFNs的理论基础。作者首先证明，理想化PFN尽管对目标具有贝叶斯最优性，其后验集中率会隐式依赖于潜在冗余函数的集中率，且先验越多样后验集中越慢。为此，文章基于有效影响函数提出两种通用去偏策略：标签校正与先验校正。理论分析表明，去偏后的PFN收敛速率渐近匹配传统频率学派偏差校正估计量，从而在摊销贝叶斯推断与半参数效率理论之间建立了新联系，并在附加假设下保证了局部最优性（Bernstein-von Mises性质）与全局极小极大最优性。该工作为设计具有可证明渐近保证的半参数推断PFN提供了理论指导。
🔑 关键词速览
| Prior-data fitted networks (PFNs) | 一种用于摊销贝叶斯推断的神经网络，通过预训练学习从先验数据到后验的映射。 |
| Amortized Bayesian inference | 通过训练一个模型来快速近似后验分布，使得对新数据的推断成本很低。 |
| Semi-parametric inference | 统计推断中模型包含有限维参数和无限维 nuisance 函数的情况。 |
| Efficient influence functions | 在半参数模型中用于构造有效估计量的函数，能够校正偏差并达到效率界。 |
| Bernstein-von Mises property | 贝叶斯后验在样本量增大时渐近正态且以效率界为方差的性质。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅