高斯核千万别乱用！两个致命缺陷，预测结果可能过度自信到离谱
Why not to use the Gaussian kernel
📖 AI 总结
这篇论文对机器学习中广泛使用的Gaussian核（又称平方指数核或径向基函数核）提出了强烈质疑，主张应避免将其作为默认选择。作者通过两个核心论据论证Gaussian核的“脆弱性”：其一，该核会导致条件方差异常偏小，若以此量化预测不确定性，极易产生灾难性的过度自信；其二，方差过小伴随数值病态问题，实际应用中不得不依赖nugget项等技巧，这实质上改变了原有的回归或分类模型。作者指出，问题根源并非Gaussian形式本身，而在于其解析性——解析核具有过度平滑的特性，且对平稳核而言，解析性几乎等价于谱密度呈指数衰减。因此，论文的结论更具普适性：应避免使用解析核，而非仅针对Gaussian核。这一研究对高斯过程回归的实践具有重要警示意义。
🔑 关键词速览
| Gaussian kernel | 一种常用的核函数，也称为平方指数核或径向基函数核，用于衡量样本间的相似性。 |
| Gaussian process regression | 一种基于高斯过程的回归方法，利用核函数定义先验和协方差结构。 |
| conditional variance | 在给定观测数据条件下，预测值的不确定性度量，用于量化预测的置信度。 |
| numerical ill-conditioning | 数值计算中因矩阵条件数过大而导致的数值不稳定问题，影响算法精度。 |
| analytic kernel | 具有解析性质的核函数，其谱密度呈指数衰减，可能导致过度平滑和数值问题。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅