PMI估计统计框架出炉！SGNS偏差被揭，低维方差分解竟失效！
A Statistical Inference Framework for PMI Estimation and SGNS Word Embeddings
📖 AI 总结
本文针对点互信息（PMI）估计中的有限样本不确定性缺乏系统刻画这一问题，构建了一个统计推断框架，并探讨其与SGNS词嵌入的关联。作者证明了经验PMI估计量的一致性、渐近无偏性和渐近正态性，利用Delta方法推导其方差，并借助随机逼近理论得到SGNS估计PMI的方差分解，将数据方差与优化方差分离。仿真实验验证了Delta方法近似的有效性。在Brown语料库（d=100）上的真实数据实验显示，SGNS系统性地偏离理论关系PMI+log K，表现为PMI系数衰减、log K效应放大及正截距，说明存在系统性偏差；词语类比验证则确认模型有效。低维条件下方差分解未获验证，但作者认为这并不削弱其理论价值，反而揭示无偏性假设是关键瓶颈，明确了渐近理论与实际应用之间的差距。
🔑 关键词速览
| PMI (Pointwise Mutual Information) | 点互信息，一种衡量两个词语关联强度的统计度量，定义为词语共现概率与各自独立出现概率乘积的对数比。 |
| SGNS (Skip-gram with Negative Sampling) | 带负采样的跳元模型，一种流行的词嵌入学习方法，通过预测上下文词并引入负采样来训练词向量。 |
| Delta method | Delta方法，一种统计学中用于近似随机变量函数方差的技巧，基于泰勒展开将非线性函数的方差近似为线性函数的方差。 |
| Stochastic approximation theory | 随机逼近理论，研究通过迭代算法在噪声环境下求解方程根或优化问题的理论，常用于分析随机优化算法的收敛性。 |
| Variance decomposition | 方差分解，将总方差拆分为不同来源成分的方法，此处用于分离数据方差和优化方差。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅