贝叶斯在线学习提速：近似后验也能保住快速遗憾界，算力大降性能不减！
Fast rates in Bayesian online learning with approximate posteriors
📖 AI 总结
该研究探讨了贝叶斯在线学习中，近似后验方法能否保留精确贝叶斯预测的统计保证。核心发现是，近似后验的累计代价取决于精确吉布斯后验的收缩半径与近似后验和精确后验之间的Wasserstein距离的相互作用。研究提出的一般性定理表明，只要近似后验足够精确地追踪精确后验，就能继承其快速遗憾界，仅增加一个由近似误差决定的附加项。论文给出了三个实例：线性模型中投影朗之万算法实现对数遗憾；无限维指数族序列模型中保持先验的截断方法以次线性内存和常数更新代价达到极小极大预测遗憾率；随机设计高斯过程回归中稀疏变分后验以显著降低的计算成本达到与精确GP相同的预测遗憾率。该工作为在计算约束下设计高效且统计最优的在线贝叶斯方法提供了理论依据。
🔑 关键词速览
| Bayesian online learning | 贝叶斯在线学习，一种在数据流中逐步更新后验分布的统计学习方法。 |
| approximate posteriors | 近似后验，指通过计算近似方法（如变分推断、采样算法）得到的后验分布，以降低计算成本。 |
| predictive regret | 预测遗憾，衡量在线学习算法预测性能与最优预测器之间差距的指标。 |
| Wasserstein distance | Wasserstein距离，一种度量两个概率分布之间差异的距离，常用于比较后验分布。 |
| sparse variational posterior | 稀疏变分后验，一种通过引入诱导变量来近似高斯过程后验的方法，以降低计算复杂度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅