无需重训扩散模型，COFFEE让序列级引导不再指数爆炸！
Grab a Coffee: Future-Aware Guidance for Discrete Diffusion with Compiled Objectives
📖 AI 总结
离散扩散模型通过并行解析多个token来生成序列，但用序列级目标引导这一过程面临组合爆炸难题：单个未解析token的价值取决于它能与其他token组成何种高奖励序列，穷举所有补全方式的代价随未解析位置数量指数增长。为此，作者提出COFFEE框架，将序列依赖与目标函数分离：每步扩散中，一个无目标载体吸收去噪器预测的边缘token分布，构建未解析token的联合模型，同时用编译后的有限状态模型记录token组合对序列级偏好的影响，两者状态配对即可将全局偏好传递至未解析位置并采样出干净重建，无需重新训练扩散模型。该框架同时支持显式硬约束与学习到的软目标。在符号、语言和生物等多个基准上，COFFEE取得了较强的控制效果，质量与多样性呈现任务相关的权衡。其意义在于将目标函数从仅用于评估扩展到推理阶段，把联合条件化、补全加权引导和基于优化的约束引入预训练神经生成，展示了神经符号方法在扩散引导中的潜力。
🔑 关键词速览
| 离散扩散模型 (Discrete Diffusion Model) | 一种在离散状态空间（如词元序列）上通过迭代去噪过程生成数据的生成模型。 |
| COFFEE | 本文提出的即插即用引导框架，通过分离序列依赖与目标，避免枚举所有补全，实现高效序列级引导。 |
| 序列级目标 (Sequence-level Objective) | 定义在整个生成序列上的偏好或奖励函数，用于引导生成过程朝向高奖励序列。 |
| 有限状态模型 (Finite-state Model) | 一种计算模型，用有限个状态和转移记录序列组合对序列级偏好的影响，用于编译目标。 |
| 神经符号方法 (Neural-symbolic Method) | 结合神经网络的学习能力与符号系统的推理能力的方法，本文中用于扩散引导。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅