生成式AI学分布竟受维度诅咒？新稀疏先验让样本效率飙升到√(k/n)！
Sparse Priors for Efficient Distribution Learning
📖 AI 总结
这篇论文探讨了生成式AI中分布学习的理论基础。作者指出，现有理论保证在d维空间中从n个样本学习分布时，收敛速率会退化为O(n^{-1/Θ(d)})，即遭受维度灾难，尽管这一速率已被证明是极小极大最优的。作者认为，仅靠平滑性假设不足以刻画真实应用中分布的结构，因此提出“稀疏先验”这一新类别，并定义“稀疏维度”来衡量先验在分布空间上的稀疏程度。核心发现是：在k-稀疏先验下，分布学习的贝叶斯风险下界为Ω(√(k/n))，并在温和附加假设下给出了TV距离下匹配的上界（至对数项）。作者还证明了贝叶斯框架下分布学习与学习采样之间的统计等价性，使结论同样适用于采样学习。该结果表明，合适的先验能够克服关于样本量n的维度灾难，为高维生成建模提供了新的理论视角。
🔑 关键词速览
| 稀疏先验 | 一种假设分布具有稀疏结构的先验分布，用于降低高维分布学习的样本复杂度。 |
| 稀疏维度 | 衡量先验在所有分布空间上稀疏程度的指标，记为 k，可远小于环境维度 d。 |
| 贝叶斯风险 | 在贝叶斯框架下，对先验分布平均后的期望风险，用于评估学习算法的理论性能。 |
| TV 距离 | 全变差距离，一种衡量两个概率分布之间差异的常用度量。 |
| 维数灾难 | 指随着数据维度增加，学习问题所需样本量呈指数增长的现象。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅