KDE带宽选择慢？新框架用摊销学习，小样本性能碾压Silverman和SJ规则！
Amortized Bandwidth Learning for Kernel Density Estimation under Logarithmic Score
📖 AI 总结
本文提出了一种用于核密度估计的摊销带宽学习方法。传统带宽选择器要么依赖解析或渐近规则，要么需要针对每个样本重新求解优化问题，性能受限于带宽选择。该研究通过优化对数评分，在密度估计任务分布上学习样本到带宽的映射，实现摊销化。方法采用截断重归一化的有界支撑公式以稳定异构任务学习，并利用仿射标准化使在单一参考区间上训练的选择器可迁移至任意有界区间。实验覆盖高斯采样、多族基准和随机高斯混合训练，结果显示该摊销选择器在性能上持续且显著优于Silverman规则、Sheather-Jones选择器和最小二乘交叉验证，尤其在小样本和异构样本上优势明显。有限高斯混合凭借其L1逼近性质提供了通用训练机制，训练后的选择器对不同密度结构泛化能力强，可直接应用于未知密度的有限样本，无需指定或拟合分布族。该方法兼具广泛适用性和强实证性能，为将有限样本或集成转换为连续概率密度的应用提供了有吸引力的方案。
🔑 关键词速览
| Kernel Density Estimation (KDE) | 核密度估计，一种非参数方法，用于从有限样本估计概率密度函数。 |
| Amortized Bandwidth Learning | 摊销带宽学习，一种通过训练模型学习带宽选择映射的方法，避免为每个样本单独优化。 |
| Logarithmic Score | 对数评分，一种用于评估概率密度预测的评分规则，常用于优化密度估计模型。 |
| Silverman's rule | Silverman规则，一种经典的带宽选择经验法则，基于数据标准差和样本量。 |
| Sheather-Jones selector | Sheather-Jones选择器，一种基于插值思想的带宽选择方法，通常比Silverman规则更准确。 |
| Least-squares cross-validation (LSCV) | 最小二乘交叉验证，一种通过最小化积分平方误差来选择带宽的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅