无限维函数优化新突破！L0MO方法性能超越当前最优
Bayesian Optimization on Function Spaces via Sparse RKHS Manifolds
📖 AI 总结
这篇论文研究函数型贝叶斯优化（FBO）问题，即优化对象不再是有限维向量，而是无限维函数空间中的元素。作者提出L0流形优化方法（L0MO），在再生核希尔伯特空间（RKHS）中搜索具有稀疏核表示的函数据子集，同时优化核位置及其系数。文章详细讨论了该方法与既有工作的关系，提供了一个统一视角来理解此前的相关研究。为评估性能，作者开展了大规模计算实验，并构建了一套新的基准测试函数，将标准有限维测试函数推广到无限维情形。实验结果表明，该方法在广泛的测试基准上总体优于现有最先进方法。
🔑 关键词速览
| 贝叶斯优化 (Bayesian Optimization, BO) | 一种针对黑箱目标函数的全局优化方法，通过构建概率代理模型（如高斯过程）并利用采集函数来指导采样，以尽可能少的评估次数找到最优解。 |
| 函数贝叶斯优化 (Functional Bayesian Optimization, FBO) | 贝叶斯优化的扩展设定，其中待优化的变量是无限维函数空间中的函数，而非有限维向量。 |
| 再生核希尔伯特空间 (Reproducing Kernel Hilbert Space, RKHS) | 一种由核函数生成的希尔伯特空间，具有再生性质，即函数在任意点的取值可通过与该点核函数的内积得到，常用于函数分析和机器学习。 |
| $L^0$ 流形优化 (L0 Manifold Optimization, L0MO) | 本文提出的方法，在 RKHS 中搜索由核函数稀疏表示构成的函数子集，同时优化核位置和系数，其中 $L^0$ 范数用于促进稀疏性。 |
| 稀疏表示 (Sparse Representation) | 用尽可能少的基函数（如核函数）的线性组合来表示一个函数或信号，通常通过 $L^0$ 或 $L^1$ 正则化来实现。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅