告别归一化常数！新方法大幅降低计算成本，还能抗异常噪声
Parameter Estimation for Unnormalized Discrete Models via Empirically Localized Deformed Bregman Divergence
📖 AI 总结
本文针对离散变量概率模型的参数估计问题展开研究。此类模型在实际应用中常因归一化常数难以计算而带来显著的计算困难，已有大量工作试图规避这一难题。作者提出将经验局部化技术与变形Bregman散度相结合的新方法：经验局部化能够大幅降低归一化常数的计算成本，而对Bregman散度中变形函数的适当选择，则可使所提出的估计量具备多种优良统计性质，例如估计效率以及对异常值噪声的稳健性。该工作为无归一化离散模型的参数估计提供了一种兼具计算可行性与统计灵活性的统一框架，其意义在于通过变形参数的调节，研究者可根据具体任务需求在效率与稳健性之间进行权衡，从而拓展了此类模型在机器学习实践中的适用范围。
🔑 关键词速览
| 归一化常数 | 使概率分布总和为1的缩放因子，在离散模型中通常难以计算。 |
| 经验局部化 | 一种利用数据局部信息近似全局计算的技术，可显著降低计算成本。 |
| 变形Bregman散度 | 对标准Bregman散度进行非线性变形得到的广义散度，可赋予估计量不同统计性质。 |
| 参数估计 | 从观测数据中推断概率模型未知参数的过程。 |
| 异常值噪声 | 数据中偏离正常模式的极端观测值，可能影响估计的准确性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅