🔥 今日值得一读
一个图替代64个！PolyGraph让CUDA图构建从3915毫秒降到93毫秒
PolyGraph: Plan-Buffered CUDA Graphs for Adaptive Speculative Decoding
👨💼 主理人解读 · 为什么值得关注
投机解码批大小动态变化导致CUDA Graph难复用，该方法一次捕获即可动态重放，提速部署。
📖 AI 总结
该论文针对自适应投机解码中批大小与草稿长度动态变化、而CUDA Graph只能重放固定启动配置的矛盾，提出PolyGraph方案：为自定义Triton内核引入计划缓冲机制，仅捕获一张最大网格图，每次重放前将当前形状写入GPU内存（仅28字节），内核跳过超出该形状的分块，图拓扑、内存分配、布局、指针与启动网格均保持不变。在单张NVIDIA H800上基于Qwen2.5-3B维度的轨迹驱动原型中，该方法用一张图替代64张形状专用图，观测步延迟与预热基线相当（P50为17.7毫秒对17.8毫秒），服务前图构建时间从3915毫秒降至93毫秒；固定草稿对照显示收益来自避免填充负载，零填充浪费时P99差异可忽略，100%浪费时降低18.7%。研究意义在于为自定义内核提供了一种有界工作形状机制，但作者明确其仅为原型验证，尚未构成生产级服务系统，且结论限于单GPU上的合成轨迹。
🔑 关键词速览
| Adaptive Speculative Decoding | 一种推理加速技术，根据上下文动态调整草稿长度和批大小，以平衡验证开销与接受率。 |
| CUDA Graph | NVIDIA CUDA 的图执行机制，将一系列内核启动捕获为静态图并重放，以减少启动开销。 |
| Plan-Buffer Mechanism | PolyGraph 提出的机制，通过一个计划缓冲区在 GPU 内存中动态写入活跃形状，使固定图适应可变工作负载。 |
| Triton Kernels | 使用 OpenAI Triton 语言编写的自定义 GPU 内核，便于实现高性能算子并支持动态形状。 |
| Verification Width | 推测解码中批大小与草稿长度的乘积（M = B d），表示一次验证步骤中并行处理的令牌总数。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅