并行草拟提速6.6倍！DCOCO让推测解码并发服务再涨23%
Contextual Correction of Parallel Draftsfor Speculative Decoding
📖 AI 总结
本文提出一种名为DCOCO的轻量级机制，用于改进基于扩散式草稿模型的推测解码。现有并行草稿方法虽能一次性预测多个未来位置、避免自回归生成的串行开销，但同一草稿块内的词元在预测时无法获知前序草稿词元的实际身份，损失了块内依赖关系。DCOCO通过保留每个位置的多个候选词元，并在相邻草稿位置间并行评估其上下文兼容性，以较低额外成本恢复这些依赖，从而实现上下文感知的词元选择。研究在四个验证器主干和十个基准上进行了评测，DCOCO在所有配置下均取得最高平均吞吐量，覆盖贪心与随机解码及扩展推理场景，相比原始解码最高加速6.6倍。在并发服务场景下，其优势依然保持，在4至32个并发请求中比最强竞争方法高出6%至23%，而其他串行校正器在高负载下甚至低于未校正的DFlash。结果表明，通过并行上下文评分恢复块内依赖，可在多种解码模式和负载下实现稳定加速。
🔑 关键词速览
| Speculative Decoding | 推测解码，一种利用轻量级草稿模型提出候选令牌、再由目标模型并行验证以加速大语言模型推理的技术。 |
| Diffusion-based Drafter | 基于扩散的草稿模型，利用扩散模型并行生成多个未来位置的令牌，避免自回归的顺序生成成本。 |
| DCOCO (DFlash Contextual Corrector) | DFlash 上下文校正器，一种轻量级机制，通过并行评估候选令牌在相邻草稿位置上的上下文兼容性来恢复块内依赖关系。 |
| Intra-block Dependencies | 块内依赖关系，指草稿块内令牌之间的相互依赖，在自回归生成中自然存在，但并行草拟时丢失。 |
| Concurrent Serving | 并发服务，指同时处理多个请求的推理场景，用于评估方法在高负载下的性能表现。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅