语言模型排列生成新突破：无需匈牙利分配也能保证有效排列！
Exploring the Design Space of Permutation Diffusion LLMs
📖 AI 总结
本文研究基于扩散语言模型的排列生成问题，即如何在文本条件下实现候选与输出位置之间的一对一全局分配。作者系统比较了三种参数化设计：对打乱候选索引序列的硬分配预测、基于双随机矩阵的软分配预测，以及直接预测排序分数后排序。实验在亚马逊三个领域的推荐重排序任务上进行，候选集规模为10和20。结果显示，在单次函数评估下，硬分配与软分配变体的Recall@1与受限掩码扩散基线相当，而直接排序分数预测无需匈牙利算法或Sinkhorn归一化即可保证排列有效。增加函数评估次数并未稳定提升排序质量，其效果高度依赖状态表示与训练目标。研究强调，排列扩散模型的噪声过程、预测参数化、目标函数与解码器需协同设计。
🔑 关键词速览
| Permutation Diffusion LLM | 一种将扩散模型与语言模型结合用于生成排列（如排序）的方法，通过迭代去噪过程产生候选对象的全局顺序。 |
| Hard-assignment prediction | 在打乱的候选索引序列上直接预测每个位置对应的候选索引，形成硬性的一对一分配。 |
| Soft-assignment prediction | 预测一个双随机矩阵来表示候选与位置之间的软分配概率，再通过归一化得到排列。 |
| Doubly stochastic matrix | 每行和每列元素之和均为1的非负矩阵，常用于表示软排列或分配概率。 |
| Hungarian assignment | 一种求解二分图最大权匹配的经典算法，用于从分数矩阵中恢复最优的一对一分配。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅