该论文提出了一种名为稀疏地标嵌入(SLE)的核框架,旨在解决传统核方法与高斯过程对距离度量的严格限制。通常,核矩阵要保持半正定性,要求距离度量的平方满足条件负定性,但光滑流形和概率分布空间等许多自然输入空间并不满足这一条件。SLE的核心思路是将每个输入通过以全部训练点为中心的紧支撑 bump 函数映射为稀疏特征向量,再在该嵌入空间中应用任意标准半正定核,从而对任意距离度量都能保证核矩阵半正定。紧支撑特性自动控制嵌入稀疏度,使高维环境下的核矩阵保持良态且计算可行。作者给出了半正定性、稀疏性、稳定性和通用逼近方面的理论保证,并利用测地距离和 Wasserstein 距离进行验证,表明该方法在预测精度和不确定性量化上达到或显著超越领域专用基线。
| 条件负定 (CND) | 一个距离度量,其平方满足条件负定性,是核矩阵半正定的充分必要条件。 |
| 半正定 (PSD) | 矩阵的一种性质,所有特征值非负,是核方法有效性的关键。 |
| 稀疏地标嵌入 (SLE) | 本文提出的方法,将输入嵌入到由训练点(地标)处的紧支撑函数生成的稀疏特征向量中。 |
| 紧支撑凸函数 | 一种在有限区域外为零的凸函数,用于构造稀疏嵌入并控制计算复杂度。 |
| Wasserstein距离 | 概率分布之间的一种距离度量,常用于衡量两个分布之间的差异。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅