📖 AI 总结

九章云极针对GLM-5.3推出推测解码加速方案Alaya-DFlash2，通过并行草稿模型与路径选择机制，缓解长文本生成中主模型逐token重复计算上下文带来的开销。在8×H200、TP=8配置下，单并发解码速度达288.2 tokens/s，为原生自回归的3.41倍，总输出吞吐约为原来的3倍；4并发和64并发下总吞吐分别提升至2.24倍和44.9%。在1k至32k上下文测试中，其接受长度均高于IncoAI-DFlash2与RedHat-DSpark，32k时领先幅度分别为18.5%和34.1%，且在草稿后段位置保持更高接受率。问答、数学、RAG、摘要等9类任务接受长度居首，表明该方案在长上下文交互与多并发服务场景下均具可量化的效率增益。