Scaling NVIDIA TensorRT Performance Optimization Beyond a Single Build Route with the Global Performance Tuner, Part 2

TensorRT 11.1 调优最高提速 1.63x

Global Performance Tuner 在 TensorRT 11.1 中把调度策略表示为显式、可搜索的 build route，路线由编译器 knob 组合定义；C++ API 可设置或查询固定路线，并列出超过 200 个可调项的取值、默认值与用途。trtexec 把正则式路线表达式展开成具体候选，逐条构建并测量端到端性能，剔除构建崩溃或推理精度不达标者，再把精度阈值 $\epsilon$ 作为准入边界，只在合格路线中按性能选出最快引擎。官方称相对默认路线，多个工作负载获得端到端 1.14x 到 1.63x 提升；博客据此强调最优路线依赖模型、形状、GPU 与软件栈，不能跨环境直接复用。使用时应按搜索空间选策略：fast 逐项扫 knob，mixed 先快扫再组合有收益项，full 适合少量关键 knob；借 --dryRun 预览、--tuningCacheFile 与 --continue 做增量恢复，--saveAllEngines 仅用于调试，并在模型、形状、硬件或软件栈变化后重新调优。用户可基于开源实现扩展自定义搜索或精度验证，也可用 build-route API 自行构建调优器。

1. 1默认路线被多条可搜索 build route 替代
2. 2精度先过滤候选，性能再排序选最快
3. 3模型、形状、GPU 或软件栈变化需重调

为什么重要　推理引擎默认路线不再万能；它提供可复现的多路线搜索与精度约束，可用于 trtexec 部署调优。适合　负责 TensorRT 推理优化与部署的工程师

来源

developer.nvidia.com

发布

2026/10/24

作者

Tanya Lenz