高维贝叶斯推断新突破：过参数化区域复杂度只依赖样本数N不随维度d增长！
Dimension-free regimes for unadjusted Langevin in ridge-separable models: A subspace robust Wasserstein analysis
📖 AI 总结
该论文研究无调整朗之万算法（ULA）在高维贝叶斯推断中的偏差与混合时间问题。传统基于Wasserstein-2距离的分析会得出随维度增长的偏差和混合时间，但这一度量强于许多统计任务的实际需要。作者改用子空间鲁棒Wasserstein距离分析偏差，该距离可控制均值及任意低维边缘分布，更贴合实际估计的可观测量。针对由独立同分布数据构成的岭可分离势函数，论文证明了高概率界，揭示混合时间随样本数N相对维度d变化呈钟形轮廓：在过参数化情形下，有效维度为数据相关扰动的秩N，复杂度取决于N而非d；在大样本情形下，一旦N足够大，高斯扰动估计可给出与维度无关的复杂度；而在N与d成比例的区域，论文证明一般情形下不存在与维度无关的保证。该结果为ULA在高维模型中的适用边界提供了更精细的理论刻画。
🔑 关键词速览
| Unadjusted Langevin Algorithm (ULA) | 一种用于高维贝叶斯推断的采样算法，基于朗之万扩散的离散化，无需接受-拒绝步骤。 |
| Wasserstein-2 distance | 一种衡量概率分布之间差异的度量，基于最优传输理论，对高维分析较为严格。 |
| subspace robust Wasserstein distance | 一种改进的Wasserstein距离，专注于控制均值和低维边缘分布，对实际可观测量的估计更适用。 |
| ridge-separable potentials | 一类特殊的势函数形式，通常由数据驱动，具有岭可分离结构，便于分析高维采样算法。 |
| overparameterized regime | 模型参数数量超过数据点数量的区域，此时有效维度由数据依赖扰动的秩决定。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅