📖 AI 总结

该论文针对离散语言扩散模型普遍采用吸收式损坏、导致生成过程中对上下文“全盘信任”的问题，提出将吸收核与均匀混合核结合、按区域设定不同损坏速率的前向动力学设计：缺失位置走吸收过程，上下文则以低速率随机替换，使模型在训练中接触“已观测但不确定”的token；推理阶段再用启发式采样器按退火强度向可疑上下文重新注入噪声，并在轨迹后期冻结上下文更新。作者在1.7亿参数掩码扩散模型上微调8000步，耗时不到五小时（6GB笔记本GPU）。结果显示，基座模型即使面对均匀随机垃圾文本，仍给观测token约50%概率；微调后对均匀随机损坏的检测召回率达0.96、精确率0.91，10%和20%损坏下填充token-F1分别提升3.8和6.4个点，并消除损坏附近的准确率下滑，干净条件无显著退化、误编辑率低于0.4%；但对看似合理的损坏增益仅约0.5个F1点且不显著。作者据此指出，可检测性与破坏程度共同取决于噪声偏离数据条件的距离，并将吸收扩散解释为“信任轴”的无限对比极限，表明中等信任可通过改变前向动力学而非模型架构实现。

🔑 关键词速览