📖 AI 总结

NVIDIA与普林斯顿大学Dao AI Lab合作提出ReplaySSM，针对混合模型中SSM层在批量解码时成为延迟瓶颈的问题，将SSM状态表示为检查点加近期输入缓冲区，从而把输出计算与状态更新解耦。该方法将状态内存流量减少约一半，在B300 GPU、批量256时使SSM解码内核提速1.46至1.80倍；通过将草稿输入追加至缓冲区而非快照状态，简化了推测解码回滚，在120B级模型上推测吞吐提升1.85至2.10倍；同时以高精度检查点执行递归、低精度副本供读取，抑制量化误差累积，四个评测模型中三个在GPQA-Diamond上的精度与FP32差距约在2个百分点以内。该工作已集成至TensorRT-LLM与vLLM，为混合模型的高效生产部署提供了新思路。