自回归新方法破解高维联合分布估计难题，收敛速率可由图稀疏性界定，实测性能有竞争力！
Nonparametric autoregressive estimation of probability distributions with parallel gradient boosting
📖 AI 总结
文章研究高维联合概率分布的非参数估计问题，提出以自回归方式对联合分布进行因子分解，从而将联合分布的估计转化为一系列条件分布的估计。作者证明，对于满足次可加性性质的损失函数，自回归估计器的收敛速率可由各条件分布估计器的收敛速率推导得出，且整体估计难度取决于自回归分解中最难估计的因子。当条件估计器能够适应条件集稀疏性时，作者通过无向依赖图中的变量消去来刻画这一难度，并利用图稀疏性给出收敛速率上界，为自回归方法提供了额外理论依据。实证部分采用基于并行梯度提升的自回归估计器，在多个模拟和真实数据集上取得有竞争力的表现，且无需优化因子分解顺序。研究为高维联合分布的灵活非参数估计提供了理论支撑与可行方案。
🔑 关键词速览
| 非参数自回归估计 | 一种通过自回归分解联合分布，并利用非参数条件分布估计器进行估计的方法。 |
| 并行梯度提升 | 一种灵活的非参数方法，用于估计条件分布，通过并行化梯度提升实现。 |
| 维数灾难 | 高维数据中估计难度随维度指数增长的现象。 |
| 次可加性 | 损失函数满足的性质，使得联合损失的界可由各部分损失的界相加得到。 |
| 无向依赖图 | 表示变量间依赖关系的图，用于刻画条件估计中的稀疏结构。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅