🔥 今日值得一读
无需训练！CoDR让扩散语言模型准确率全面飙升
CoDR: Training-Free Confidence-Drift Remasking for Diffusion Language Models
📖 AI 总结
本文提出CoDR（Confidence Drift Remasking），一种无需训练、与采样器无关的扩散语言模型精修方法。研究针对掩码扩散语言模型（MDLM）解码中"承诺不可逆"的问题：模型在稀疏上下文下确定的token即使后续更丰富的上下文不再支持，也会被固定保留，导致早期错误持续传播。作者将这一现象归因于"置信漂移"，即模型对已提交token的置信度从提交时的稀疏上下文到后续更密集上下文之间出现下降。基于该信号，CoDR通过k分区探测，仅用k次前向传播即可估计所有已提交位置的漂移程度，并对模型不再认可的token进行重新掩码与再生成。在两个骨干模型、四项推理与编码任务、三种基础采样器上的实验表明，CoDR在所有模型-采样器组合上均提升了平均准确率，且多数单项任务设置也有改善，额外开销有限。对照实验证实增益来自有针对性的置信漂移重掩码，而非单纯增加计算量，且其所需前向传播次数远少于此前的重掩码方法。
🔑 关键词速览
| 掩码扩散语言模型 (MDLM) | 一种通过迭代去噪掩码词元来生成文本的扩散语言模型。 |
| 置信度漂移 (Confidence Drift) | 模型对已提交词元的置信度从稀疏上下文到密集上下文出现下降的现象。 |
| 重掩码 (Remasking) | 将已提交但模型不再支持的词元重新置为掩码状态以便重新生成。 |
| k 分区探测 (k-partition probing) | 一种通过将序列分成 k 部分进行前向传播来估计所有位置置信度漂移的高效方法。 |
| 采样器无关 (Sampler-agnostic) | 所提方法不依赖于特定的采样器，可与多种采样器结合使用。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅