📖 AI 总结

NVIDIA TensorRT 11.1 引入的 Global Performance Tuner 将调度策略表示为由编译器参数组合构成的可搜索构建路径，并通过 C++ API 支持应用固定路径、检查当前路径以及发现 200 多个可调参数及其取值范围和默认值。trtexec 实现了调优循环：将路径表达式展开为具体构建路径，逐一构建和测量候选方案，剔除崩溃或精度不达标的路径，最终选出最快的合格引擎。其精度感知调优把精度作为筛选约束、把性能作为排序标准，从而将两者解耦。在十项评测工作负载中，调优相较默认构建路径带来 1.14 倍至 1.63 倍的端到端性能提升。文章还给出最佳实践，包括按搜索空间选择搜索策略、构建前用 --dryRun 检查路径、借助 --tuningCacheFile 和 --continue 实现增量与可恢复调优，以及在模型、形状、目标 GPU 或软件栈变化后重新调优。