基础知识：TensorRT概述、CUDA流基础、环境搭建

核心原理：TensorRT为何能加速推理

TensorRT是NVIDIA推出的高性能深度学习推理优化器，其核心思想是在离线阶段完成尽可能多的计算优化，从而在在线推理时减少延迟、提高吞吐。与PyTorch或TensorFlow等训练框架不同，TensorRT不负责反向传播，而是将训练好的模型转换为经过深度优化的推理引擎。

TensorRT的加速主要来源于以下几个关键机制：

层融合（Layer Fusion）：将卷积、偏置、激活函数等连续操作合并为一个CUDA核函数，减少内核启动开销和显存读写次数。
精度校准（Precision Calibration）：支持FP16和INT8量化，在精度损失可控的前提下大幅提升计算吞吐。
内核自动调优（Kernel Auto-Tuning）：针对目标GPU架构，从数百种内核实现中选择最优的卷积、矩阵乘法等算法。
显存池化（Memory Pooling）：在引擎构建阶段完成显存规划，推理时避免动态分配带来的开销。

下图展示了TensorRT从训练模型到推理引擎的完整构建流程，以及CUDA流在推理调度中的位置：

方法流程：CUDA流的核心概念与调度机制

CUDA流（Stream）是GPU上按顺序执行的一系列操作的队列。默认情况下，所有CUDA操作都在默认流（Stream 0）中串行执行。当需要并发处理多个独立任务时，可以创建多个流，让GPU在不同流之间进行任务级并行。

在TensorRT推理场景中，CUDA流的使用通常遵循以下流程：

创建流：使用 cudaStreamCreate() 创建多个流，每个流对应一个独立的推理任务队列。
绑定引擎上下文：TensorRT的 ExecutionContext 可以绑定到特定流，通过 enqueueV2() 或 enqueueV3() 将推理任务提交到指定流。
异步数据传输：使用 cudaMemcpyAsync() 将输入数据从主机（Host）拷贝到设备（Device）显存，该操作在指定流中异步执行。
提交推理任务：调用 context.execute_async_v2() 将推理任务提交到流中，函数立即返回，CPU不等待GPU完成。
异步结果回传：推理完成后，使用 cudaMemcpyAsync() 将结果从设备拷贝回主机。
同步与等待：使用 cudaStreamSynchronize() 或 cudaEvent 等待流中所有操作完成。

一个典型的多流推理代码框架如下：

// 创建两个流
cudaStream_t stream1, stream2;
cudaStreamCreate(&stream1);
cudaStreamCreate(&stream2);

// 为每个流创建独立的ExecutionContext
auto context1 = engine->createExecutionContext();
auto context2 = engine->createExecutionContext();

// 在流1中异步拷贝输入并推理
cudaMemcpyAsync(d_input1, h_input1, batch_size * input_size,
                cudaMemcpyHostToDevice, stream1);
context1->enqueueV2(bindings1, stream1, nullptr);
cudaMemcpyAsync(h_output1, d_output1, batch_size * output_size,
                cudaMemcpyDeviceToHost, stream1);

// 在流2中执行另一批任务
cudaMemcpyAsync(d_input2, h_input2, batch_size * input_size,
                cudaMemcpyHostToDevice, stream2);
context2->enqueueV2(bindings2, stream2, nullptr);
cudaMemcpyAsync(h_output2, d_output2, batch_size * output_size,
                cudaMemcpyDeviceToHost, stream2);

// 等待所有流完成
cudaStreamSynchronize(stream1);
cudaStreamSynchronize(stream2);

案例场景：多流并发提升推理吞吐

假设我们有一个视频分析服务，需要同时处理4路视频流，每路视频每秒25帧。如果使用单流串行处理，每帧推理耗时20ms，则单流最多处理50帧/秒，无法满足4路×25帧/秒=100帧/秒的需求。

使用4个CUDA流并行处理，每个流负责一路视频的推理任务，GPU的SM（流式多处理器）资源可以在多个流之间动态调度。由于4路推理任务相互独立，GPU可以同时执行多个内核，整体吞吐量接近单流推理的4倍（受限于GPU占用率和内存带宽）。

实际测试数据（NVIDIA A10 GPU，ResNet-50模型，FP16精度）：

配置	单流	2流	4流	8流
吞吐量（帧/秒）	210	398	752	810
平均延迟（ms）	4.8	5.1	5.4	6.2
GPU利用率	42%	71%	93%	96%

从表中可以看出，4流相比单流吞吐提升了约3.6倍，但继续增加到8流时吞吐提升有限，因为GPU计算资源已接近饱和，且流切换和同步开销增加。因此，流的数量并非越多越好，需要根据GPU型号、模型复杂度和显存容量进行调优。

误区与复盘：环境搭建与流使用的常见陷阱

误区1：CUDA、cuDNN、TensorRT版本不匹配

TensorRT对CUDA和cuDNN版本有严格依赖。例如TensorRT 8.6要求CUDA 11.0~12.0，cuDNN 8.4+。版本不匹配会导致引擎构建失败或运行时崩溃。建议使用NVIDIA提供的NGC容器（如 nvcr.io/nvidia/tensorrt:23.12-py3），其中已配置好兼容环境。

误区2：忽略工作空间大小设置

构建引擎时，BuilderConfig 的 setMemoryPoolLimit() 决定了TensorRT可用的显存工作空间。设置过小会导致部分优化算法被跳过，推理性能下降；设置过大可能导致显存不足。建议初始设置为1GB，再根据实际显存调整。

复盘：流同步不当导致数据竞争

在多流编程中，如果多个流共享同一块显存缓冲区，必须使用 cudaStreamWaitEvent() 或 cudaEventRecord() 来保证跨流的依赖关系。例如，流2的输入数据需要流1的预处理结果，则流2必须等待流1完成预处理后才能开始拷贝。忽略这种依赖会导致数据竞争和随机错误。

环境搭建的推荐步骤：

安装NVIDIA驱动（版本≥525.60.13）
安装CUDA Toolkit（与TensorRT版本匹配）
安装cuDNN（与CUDA版本匹配）
安装TensorRT（通过deb包或tar包）
验证安装：python -c "import tensorrt; print(tensorrt.__version__)"

建议使用Docker容器避免环境冲突：

docker pull nvcr.io/nvidia/tensorrt:23.12-py3
docker run --gpus all -it --shm-size=8g \
  -v /home/user/project:/workspace \
  nvcr.io/nvidia/tensorrt:23.12-py3

在容器内，TensorRT Python API和C++ API均已预装，可直接使用 trtexec 工具测试模型性能：

trtexec --onnx=model.onnx --fp16 --workspace=1024 \
  --minShapes=input:1x3x224x224 \
  --optShapes=input:8x3x224x224 \
  --maxShapes=input:16x3x224x224

该命令会生成一个针对动态batch优化的FP16引擎，并输出性能基准测试结果，包括GPU计算时间、端到端延迟和吞吐量等关键指标。