📖 AI 总结

NVIDIA 在 CUDA 13.1 中推出 Green Contexts，允许应用程序在单个进程内显式划分 GPU 执行资源（如 SM 和工作队列），从而更精细地控制并发工作负载之间的资源共享。传统 CUDA 上下文较为笨重，存在硬件上下文切换开销，且设计假设已不适应当前多组件并行的使用模式。Green Contexts 此前仅通过驱动 API 提供（自 CUDA 12.4 起），如今扩展至运行时 API。其核心用途之一是 SM 分区：将特定 SM 子集分配给某个 Green Context，使延迟敏感型内核无需等待批量任务排空即可运行。在拥有 148 个 SM 的 Blackwell GPU 上，关键内核延迟从 0.140 毫秒降至 0.007 毫秒。该编程模型通过 Green Context 句柄创建流，而非依赖隐式的线程本地设备状态，同时保留原有基于流的 CUDA 工作流。Green Contexts 采用可选、增量式设计，现有应用可按需逐步引入，以获得对并发工作负载更细粒度的控制。