该研究探讨扩散语言模型智能体能否在解码文本之前,通过连续隐状态直接传递信息。作者让发送方将去噪状态压缩为四个带符号的稠密向量,接收方在保留自身上下文与轨迹的情况下读取这些向量,并通过移除消息和替换为其他样本消息两种干预检验通道与内容的作用。结果显示,移除消息会使Tiny-A2D上的+63.6分优势和Dream-7B上的+100.0分优势消失,替换消息则把接收方引向被替换的事实;在QASC任务中,匹配通信达到80.8%,错误样本消息降至46.8%,内容效应为+34.0分。更值得注意的是,单次较晚的传递达到87.8%,比四次循环交换高出+7.0分。这为扩散语言模型智能体间的连续隐通信提供了因果证据,并表明信息传递的时机可能比交换次数更重要。
| Diffusion Language Model | 通过迭代去噪连续状态生成文本的语言模型,与自回归模型不同。 |
| Hidden Messages | 本文提出的方法,发送方将去噪状态压缩为稠密向量并传递给接收方智能体。 |
| Denoising State | 扩散过程中表示当前生成中间结果的连续向量,可被修改和传递。 |
| Causal Evidence | 通过干预实验(如移除或替换消息)证明变量间因果关系的证据。 |
| Temporal Transfer | 信息传递的时机,本文发现单次后期传递比多次循环交换更有效。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅