块选择新算法让稀疏高斯过程下界更紧，测试RMSE和NLL双双改善！
Geometry-Aware Block Selection for Sparse Variational Gaussian Processes
📖 AI 总结
该论文研究稀疏变分高斯过程（SVGP）中分块选择策略对模型性能的影响。SVGP通过引入诱导点实现可扩展的贝叶斯建模，其变分下界具有理论可解释性。近期研究表明，采用块对角结构的缩放矩阵可获得更紧的边际似然下界，而该矩阵通过残差协方差矩阵对数行列式的上界影响变分目标。作者据此提出一种简单、可扩展的几何感知分块算法，具有明确的计算复杂度和较低开销，能够通过选择合适的数据划分恢复该对数行列式贡献的较大比例；同时给出基于双重随机优化的训练框架，并探讨利用替代条件后验结构的稀疏GP方法为SVGP学习更优超参数与诱导点。研究在固定诱导点预算下考察分块选择对测试RMSE与NLL的影响，为提升SVGP的变分紧致性与实用性能提供了新思路。
🔑 关键词速览
| Sparse Variational Gaussian Processes (SVGPs) | 稀疏变分高斯过程，一种通过变分下界和诱导点实现可扩展高斯过程建模的方法。 |
| Block-Diagonal Structured Scaling Matrix | 块对角结构缩放矩阵，一种用于收紧变分下界的后验条件分布修改。 |
| Log-Determinant | 对数行列式，在变分下界中通过残差协方差矩阵的上界贡献。 |
| Doubly Stochastic Optimization | 双随机优化，一种结合数据子采样和诱导点子采样的训练框架。 |
| Inducing-Point Budget | 诱导点预算，指稀疏高斯过程中诱导点数量的固定限制。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅