前向KL漏模式？新损失KLXX让生成器模式覆盖飙升！
Mode Coverage in Normalizing Flow Boltzmann Generators via Log-Ratio Variation
📖 AI 总结
该研究针对归一化流玻尔兹曼生成器在训练中依赖可能有偏或缺失模态的目标样本、导致前向KL损失下生成流可能遗漏目标质量却仍显示高有效样本量的问题，提出对数比变差这一新度量，即加权测度下目标与推前对数密度比的平均绝对成对差，并据此构造新损失函数KLXX。KLXX在前向KL基础上加入两个对数比变差项：一个由目标加权以提升精度，另一个由淬火与退火样本及推前样本的混合加权以搜索候选模态。作者推导了KLXX的Fisher–Rao梯度流，证明两个变差项均贡献非正耗散，并给出固定代理误差界；将其用于自适应分阶段玻尔兹曼生成器，在每阶段进行重要性重加权，在阶段权重本质有界时界定推理采样误差，并证明其随样本量渐近无偏。数值实验表明，KLXX相比前向KL改善了模态覆盖，提升了各阶段诊断指标，恢复的可观测量接近独立参考值，说明对数比变差提供了前向KL通常遗漏的信息。
🔑 关键词速览
| Normalizing Flow Boltzmann Generator | 一种结合归一化流与玻尔兹曼分布的生成模型，用于高效采样复杂物理系统的构象。 |
| Forward KL | 前向Kullback-Leibler散度，衡量目标分布与模型分布之间的差异，常用于训练生成模型。 |
| Log-Ratio Variation | 对数比变差，本文提出的度量，计算目标与推前对数密度比在加权测度下的平均绝对成对差。 |
| KLXX | 一种新的损失函数，将两个对数比变差项添加到前向KL中，以改善模式覆盖和训练稳定性。 |
| Fisher-Rao Gradient Flow | Fisher-Rao梯度流，在概率密度空间中的一种自然梯度流，用于分析损失函数的优化动态。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅