🔥 今日值得一读
DScout让扩散推测解码提速4.14倍，比最强基线还快7.1%！
Factorization-Guided Training and Inference for Diffusion-Drafted Speculative Decoding
👨💼 主理人解读 · 为什么值得关注
扩散草稿投机解码MAT高但吞吐未必高，该方法优化接受前缀与延迟，实际提速LLM推理。
📖 AI 总结
该论文研究扩散草稿模型在推测解码中的效率问题，指出更高的提案容量或平均接受token数（MAT）并不必然带来更高吞吐量，因为验证只接受连续前缀，早期拒绝会使后续正确预测失效，且MAT提升若伴随每轮延迟增加也可能抵消收益。作者提出DScout方法，通过两种互补的因子分解指导训练与推理：训练上将逐位置损失分解为包含、加权和预测损失，用以组合混合视野训练、块内解掩码和接受加权损失，使监督与前缀接受对齐；推理上将吞吐量分解为MAT与每轮延迟之比，指导目标条件深度、草稿深度和推理块大小选择。在六个基准上，DScout在Qwen3-4B和Qwen3-8B上分别实现3.84倍和4.14倍平均加速，较最先进基线提升9.1%和7.1%，其推理配置策略还可额外带来最高9.75%的平均加速。
🔑 关键词速览
| Speculative Decoding | 一种加速大语言模型推理的技术，通过草稿模型并行生成候选令牌，再由目标模型并行验证。 |
| Diffusion Drafter | 利用扩散模型并行生成候选令牌的草稿模型，用于推测解码中提高提案生成效率。 |
| Mean Accepted Tokens (MAT) | 平均接受令牌数，衡量推测解码中每轮验证被接受的令牌数量，反映提案质量。 |
| Factorization | 因子分解，将复杂目标（如损失或吞吐量）分解为多个组成部分以便分别优化。 |
| Autoregressive Decoding | 自回归解码，传统的大语言模型生成方式，逐个令牌顺序生成，速度较慢。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅