高维高斯混合学习，分离度低于√d就学不动！
Is $\sqrt{d}$ Separation Necessary for Gradient EM to Learn Gaussian Mixtures in High Dimensions?
📖 AI 总结
本文研究高维高斯混合模型（GMM）学习中梯度EM算法的收敛条件。已有工作表明，在过参数化设定下，当真实成分间的最小分离度达到Ω(√d)量级时，梯度EM可实现全局收敛，其中d为数据维度。本文通过构造一类混合EM算法（混合权重采用标准EM更新，成分均值采用梯度EM更新），证明了这一维度依赖在高维情形下不可避免。具体而言，对于任意ε>0，当维度足够大时，在最坏情况下，即使分离度达到Ω(d^{0.5-ε})量级，随机初始化下的总体梯度EM也无法在次指数时间内保证全局收敛，且该结论在过参数化情形下同样成立。这一结果给出了高维高斯混合模型经梯度EM学习所需的真实成分分离度的近乎最优最坏情况下界，表明√d分离条件并非算法分析的技术性假设，而是问题本身的内在要求。
🔑 关键词速览
| 高斯混合模型 (GMM) | 一种概率模型，假设数据由多个高斯分布混合生成，常用于聚类和密度估计。 |
| 期望最大化 (EM) 算法 | 一种迭代算法，用于在含有隐变量的概率模型中寻找最大似然估计。 |
| 梯度EM | EM算法的一种变体，在M步中使用梯度更新而非精确最大化，适用于复杂模型。 |
| 过参数化 | 模型使用的分量数多于真实数据生成过程的分量数，通常有助于优化。 |
| 分离度 | 真实高斯分量中心之间的最小距离，影响学习算法的可识别性和收敛性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅