🔥 今日值得一读
离散扩散模型推理新突破：FluxLite让终端KL狂降两个数量级！
FluxLite: Inference-Time Proposal Control for Discrete Diffusion Models
👨💼 主理人解读 · 为什么值得关注
可在不重训的情况下对离散扩散/扩散语言模型做倾斜采样，开发者能更高效地满足约束生成。
📖 AI 总结
FluxLite 是一种面向离散扩散模型的轻量级、免训练推理时提议控制框架，旨在解决预训练模型在倾斜分布采样任务中 Feynman-Kac 序列蒙特卡洛权重退化的问题。其核心思路是：在预训练反向速率的稀疏有向图上，任何稀疏跳率扰动都可由 Feynman-Kac 势中的 q_t 加权图散度项精确补偿，从而在保持目标路径的同时将残余重加权方差转化为局部凸优化目标。作者据此提出两种采样器——单跳局部重分配规则 HEU 和小型非负二次规划 D-VCG，并证明了标准分数熵训练损失下的人口稳定性及有限粒子收敛性。实验显示，该方法在可解析有限状态 CTMC 基准上将终端 KL 散度较标准 Feynman-Kac SMC 基线最多改善两个数量级，在二维 Ising 采样中将行相关 MSE 的几何均值降低 5 至 7 倍，峰值处最多降低 55 倍。该工作为离散扩散模型的推理时控制提供了理论保证与实用算法。
🔑 关键词速览
| 离散扩散模型 | 在离散状态空间（如文本词元）上定义的扩散生成模型，通过逐步加噪和去噪过程学习数据分布。 |
| Feynman-Kac 序贯蒙特卡洛 | 一种通过重要性重采样和势函数加权来近似复杂分布序列的蒙特卡洛方法，常用于扩散模型的推理时校正。 |
| 提议控制 | 在采样过程中主动调整提议分布（跳跃率）以减小重要性权重方差、提高采样效率的技术。 |
| 倾斜分布 | 对预训练分布进行指数重加权后得到的分布，通常用于满足推理时的约束或奖励偏好。 |
| 终端 KL | 采样过程结束时，生成分布与目标倾斜分布之间的 Kullback-Leibler 散度，衡量最终采样的准确性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅