扩散模型推理新突破！CaLR框架实现动态自我纠错，数独任务鲁棒性拉满
CaLR: Causal Latent Revision for Robust Diffusion Reasoning
📖 AI 总结
本文提出Causal Latent Revision（CaLR）框架，旨在融合自回归模型与扩散语言模型各自的优势。自回归模型存在局部贪婪问题，而扩散语言模型缺乏推理所需的严格因果结构。CaLR将推理重新表述为受约束的潜在优化问题，通过引入专家模型的因果拓扑矩阵并结合隐式微分，以梯度引导的“思维修正”机制强制逻辑一致性，从而在并行生成过程中实现对中间步骤的动态自我纠正。实验表明，CaLR在复杂基准上取得了扩散语言模型的最优性能，超越强自回归基线，并在数独等约束性任务中展现出更优的鲁棒性。该工作为提升扩散模型的推理可靠性提供了新思路。
🔑 关键词速览
| Causal Latent Revision (CaLR) | 一种将推理建模为受约束潜在优化的框架，通过梯度引导修正实现动态自我纠正。 |
| Causal Topology Matrix (CTM) | 从专家模型提取的因果拓扑矩阵，用于约束推理过程中的逻辑一致性。 |
| Diffusion Language Models (DLMs) | 基于扩散过程的语言模型，通过并行去噪生成文本，但缺乏严格的因果结构。 |
| Autoregressive (AR) Models | 按从左到右顺序逐词生成文本的模型，存在局部贪婪问题。 |
| Implicit Differentiation | 一种通过求解隐式方程计算梯度的方法，用于优化潜在变量而无需显式展开计算图。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅