🔥 今日值得一读
零样本条件生成有偏差？新方法RHC采样器精准解决分数不匹配难题！
Score Mismatch and Set-Constrained Sampling in Zero-Shot Conditional Discrete Diffusion
👨💼 主理人解读 · 为什么值得关注
解决离散扩散零样本条件生成时的得分失配问题，可用于文本等离散数据的可控生成。
📖 AI 总结
本文针对离散扩散模型在零样本条件生成中的分数不匹配问题展开理论分析。由于训练分布与目标分布通常不一致，采样过程会产生额外偏差，这一问题在文本填充、句子补全等部分观测约束任务中尤为突出。作者首次为分数不匹配的离散扩散模型建立了理论框架，推导出KL散度上界，明确刻画了不匹配所引入的偏差，并证明经典Conditional SEDD采样器的偏差项会随维度、词表规模和兼容性增长。基于此，作者提出随机硬钳制采样器，证明在坐标级集合约束下，分配概率可由无条件分数与吸收率精确表达。数值与真实数据实验验证了该采样器的有效性。该工作为离散扩散模型的条件采样提供了理论支撑与实用改进方案。
🔑 关键词速览
| 离散扩散模型 | 一类在离散状态空间（如文本词元）上定义前向加噪与反向去噪过程的生成模型。 |
| 分数不匹配 | 指模型训练时学习到的分数函数与推理时目标分布的真实分数函数不一致的现象。 |
| 零样本条件生成 | 在不针对条件分布重新训练的情况下，直接利用无条件训练好的模型生成满足特定条件样本的任务。 |
| 条件SEDD采样器 | 一种基于分数熵离散扩散（SEDD）框架、用于条件生成的经典采样算法。 |
| 随机硬钳制（RHC） | 本文提出的一种针对逐坐标集合约束的采样方法，通过随机方式将不满足约束的坐标硬性钳制到可行集合。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅