扩散互信息新突破：隐式生成模型依赖控制难题被攻克！
Controlling Dependence in Implicit Generative Models via Spread Mutual Information
📖 AI 总结
本文关注隐式生成模型中统计依赖性的控制问题。互信息为抑制或促进生成变量间的依赖提供了目标函数，但由于隐式模型密度通常不可解，直接评估互信息十分困难。现有方法通过条件得分与边缘得分之差估计生成器梯度，并借助分类学习到的对数密度比来实现，但面临两个障碍：奇异分布不一定存在所需得分函数，且分布重叠不足会妨碍密度比估计。为此，作者提出“扩散互信息”（SMI），即对生成变量施加统一扩散核后，在各噪声水平上对互信息做加权积分。以高斯扩散为例，可得到光滑且严格为正的条件与边缘密度，从而将梯度构造推广至原本可能奇异的分布。多组实验表明，SMI在基于互信息的方法中能稳定实现有效的依赖控制，并与针对特定任务设计的成熟方法相比具有竞争力。
🔑 关键词速览
| 互信息 (Mutual Information) | 衡量两个随机变量之间统计依赖程度的指标，值越大表示依赖越强。 |
| 隐式生成模型 (Implicit Generative Models) | 一类不显式定义概率密度函数，而是通过生成过程隐式定义分布的生成模型，如生成对抗网络。 |
| 得分函数 (Score Function) | 对数概率密度函数关于输入的梯度，用于描述概率分布的变化方向。 |
| 密度比估计 (Density Ratio Estimation) | 估计两个概率密度函数比值的方法，常用于互信息估计和领域适应。 |
| 扩散互信息 (Spread Mutual Information, SMI) | 本文提出的方法，通过对生成变量应用扩散核，在不同噪声水平上对互信息进行加权积分，以解决奇异分布和重叠不良的问题。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅