4. TensorRT基础

4.1 TensorRT核心架构

TensorRT是NVIDIA推出的高性能深度学习推理优化器，其核心设计目标是在保持模型精度的前提下，最大化GPU利用率。理解TensorRT的架构，是后续进行ONNX模型转换与调优的基础。TensorRT的组件可以划分为三个层次：解析层、优化层与执行层。

• 解析层（Parser）：负责读取ONNX、Caffe、UFF等格式的模型文件，将其转换为TensorRT内部的NetworkDefinition图结构。对于ONNX模型，主要使用onnxparser完成节点到TensorRT层的映射。
• 优化层（Builder）：这是TensorRT的核心引擎。Builder接收网络定义，执行层融合、精度校准、内核自动调优等操作，最终生成一个针对特定GPU和CUDA版本的推理引擎（Engine）。
• 执行层（Runtime）：负责加载序列化后的引擎文件（.engine或.plan），创建执行上下文（ExecutionContext），并管理GPU显存中的输入输出缓冲区，驱动实际推理计算。

4.2 TensorRT推理流程

从ONNX模型到实际部署，TensorRT的推理流程可以划分为构建期（Build Time）和运行期（Runtime）两个阶段。构建期负责生成引擎，运行期负责执行推理。下面是一个标准的Python API调用流程：

import tensorrt as trt

# ---------- 构建期 ----------
logger = trt.Logger(trt.Logger.WARNING)
builder = trt.Builder(logger)
network = builder.create_network(1 << trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)
parser = trt.OnnxParser(network, logger)

# 解析ONNX模型
with open("model.onnx", "rb") as f:
    parser.parse(f.read())

# 配置构建选项
config = builder.create_builder_config()
config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 1 << 30)  # 1GB
config.set_flag(trt.BuilderFlag.FP16)  # 启用FP16

# 生成序列化引擎
serialized_engine = builder.build_serialized_network(network, config)

# ---------- 运行期 ----------
runtime = trt.Runtime(logger)
engine = runtime.deserialize_cuda_engine(serialized_engine)
context = engine.create_execution_context()

# 分配输入输出缓冲区（使用pycuda或cupy）
# ... 省略具体显存分配代码 ...
# context.execute_v2(bindings)  # 执行推理

4.3 核心优化原理

TensorRT的加速效果并非来自单一的魔法优化，而是多种技术的叠加。理解这些原理有助于你在遇到性能瓶颈时，判断问题出在哪个环节。

4.4 案例：ResNet50的优化效果

以ONNX导出的ResNet50为例，在NVIDIA A10 GPU上分别测试不同优化级别的性能表现。测试输入为1×3×224×224的FP32张量，使用TensorRT 8.6版本。

# 测试环境
# GPU: NVIDIA A10 (24GB)
# TensorRT: 8.6.1
# CUDA: 11.8

# 测试结果（延迟，单位ms，取100次平均值）
# ONNX Runtime (CUDA EP):    8.2 ms
# TensorRT FP32:             5.1 ms
# TensorRT FP16:             2.3 ms
# TensorRT INT8 (校准后):    1.4 ms

从测试数据可以看出，仅使用TensorRT的FP32模式就能比ONNX Runtime快约38%，这主要得益于层融合和内核自动调优。启用FP16后，延迟进一步降低55%，而INT8量化则能实现接近6倍的端到端加速。需要注意的是，INT8模式需要额外的校准数据集，且精度可能下降0.5%~2%，需要根据业务场景权衡。

4.5 常见误区与复盘

4.6 实操：从ONNX到TensorRT引擎

下面演示一个完整的ONNX转TensorRT引擎的命令行流程。使用trtexec工具可以快速验证模型的可转换性和性能基线。

# 1. 检查ONNX模型是否支持转换（dry run）
trtexec --onnx=model.onnx --shapes=input:1x3x224x224 --fp16 --dryRun

# 2. 生成FP16引擎并保存
trtexec --onnx=model.onnx --shapes=input:1x3x224x224 --fp16 \
        --saveEngine=model_fp16.engine \
        --workspace=1024

# 3. 测试引擎性能
trtexec --loadEngine=model_fp16.engine --shapes=input:1x3x224x224 \
        --avgRuns=100 --duration=10

在生成引擎时，--shapes参数用于指定输入张量的形状。如果模型支持动态batch，可以使用--minShapes、--optShapes和--maxShapes定义动态范围。生成的.engine文件可以直接用于部署，但需要确保部署环境的GPU型号与构建时一致。