环境搭建：CUDA、cuDNN、TensorRT的安装与配置

TensorRT 是 NVIDIA 推出的高性能深度学习推理优化器，其核心价值在于将训练好的模型转换为高度优化的推理引擎。但 TensorRT 并非独立运行的程序，它深度依赖底层 CUDA 运行时和 cuDNN 库。CUDA 负责管理 GPU 的通用计算资源，cuDNN 提供卷积、池化、归一化等深度神经网络的加速原语，而 TensorRT 则在此基础上进一步做层融合、精度校准和内核自动调优。三者构成一个自下而上的软件栈，任何一层缺失或版本不匹配，都会导致 TensorRT 无法正常工作。

一、安装前的准备工作

在动手安装之前，需要先确认硬件和操作系统环境。TensorRT 仅支持 NVIDIA 独立显卡，且要求显卡计算能力（Compute Capability）不低于 5.0。对于现代 GPU（如 RTX 30/40 系列、A100、V100 等），计算能力均满足要求。操作系统方面，TensorRT 官方支持 Ubuntu 20.04/22.04、CentOS 7/8 以及 Windows 10/11。Linux 是生产环境的主流选择，以下步骤以 Ubuntu 22.04 为例。

首先检查 GPU 驱动是否已正确安装：

nvidia-smi
# 输出示例：
# +-----------------------------------------------------------------------------+
# | NVIDIA-SMI 525.85.12    Driver Version: 525.85.12    CUDA Version: 12.0     |
# +-----------------------------------------------------------------------------+
# | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
# | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
# |===============================================================================|
# |   0  NVIDIA GeForce RTX 3090  Off  | 00000000:01:00.0  On |                  N/A |
# | 30%   45C    P8    32W / 350W |    456MiB / 24576MiB |      0%      Default |
# +-----------------------------------------------------------------------------+

如果 nvidia-smi 无法执行，说明驱动未安装或未正确加载。此时需要先安装 NVIDIA 驱动，再继续后续步骤。驱动安装完成后，记录驱动版本对应的最高 CUDA 版本号，这决定了后续安装 CUDA 工具包的上限。

二、CUDA 工具包的安装

CUDA 工具包包含编译器（nvcc）、运行时库、调试工具和开发头文件。TensorRT 在构建引擎时需要用到 nvcc 编译自定义内核，因此必须安装完整工具包，而不仅仅是运行时库。

推荐使用 NVIDIA 官方提供的 runfile 安装方式，因为它允许自定义安装路径，便于多版本共存。以下是安装步骤：

1. 从 NVIDIA 官网下载对应版本的 CUDA runfile 安装包（例如 cuda_12.0.1_525.85.12_linux.run）。
2. 执行安装命令，注意在安装选项中取消驱动安装（因为驱动已装好）：

sudo sh cuda_12.0.1_525.85.12_linux.run --toolkit --silent --override

安装完成后，需要配置环境变量。将以下内容追加到 ~/.bashrc 文件中：

export PATH=/usr/local/cuda-12.0/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.0/lib64:$LD_LIBRARY_PATH
export CUDA_HOME=/usr/local/cuda-12.0

然后执行 source ~/.bashrc 使配置生效。验证 CUDA 是否安装成功：

nvcc --version
# 输出示例：
# nvcc: NVIDIA (R) Cuda compiler driver
# Copyright (c) 2005-2023 NVIDIA Corporation
# Built on Wed_Nov_22_10:17:15_PST_2023
# Cuda compilation tools, release 12.0, V12.0.140

三、cuDNN 库的安装

cuDNN 是 NVIDIA 针对深度神经网络计算优化的加速库，TensorRT 在卷积层和循环层的实现中会调用 cuDNN 的算子。cuDNN 以压缩包形式发布，需要手动解压并复制到 CUDA 目录中。

安装步骤如下：

1. 从 NVIDIA 官网下载与 CUDA 版本匹配的 cuDNN 压缩包（例如 cudnn-linux-x86_64-8.9.2.26_cuda12-archive.tar.xz）。
2. 解压并复制文件到 CUDA 安装目录：

tar -xvf cudnn-linux-x86_64-8.9.2.26_cuda12-archive.tar.xz
cd cudnn-linux-x86_64-8.9.2.26_cuda12-archive
sudo cp -P include/cudnn*.h /usr/local/cuda-12.0/include/
sudo cp -P lib/libcudnn* /usr/local/cuda-12.0/lib64/
sudo chmod a+r /usr/local/cuda-12.0/include/cudnn*.h /usr/local/cuda-12.0/lib64/libcudnn*

验证 cuDNN 是否安装成功：

cat /usr/local/cuda-12.0/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
# 输出示例：
# #define CUDNN_MAJOR 8
# #define CUDNN_MINOR 9
# #define CUDNN_PATCHLEVEL 2

四、TensorRT 的安装与配置

TensorRT 的安装相对简单，NVIDIA 提供了 tar 压缩包和 deb 安装包两种形式。推荐使用 tar 包，因为它不污染系统目录，且便于多版本切换。

安装步骤：

1. 从 NVIDIA 官网下载 TensorRT tar 包（例如 TensorRT-8.6.1.6.Linux.x86_64-gnu.cuda-12.0.tar.gz）。
2. 解压到指定目录：

tar -xzvf TensorRT-8.6.1.6.Linux.x86_64-gnu.cuda-12.0.tar.gz
sudo mv TensorRT-8.6.1.6 /opt/tensorrt

配置环境变量，在 ~/.bashrc 中追加：

export LD_LIBRARY_PATH=/opt/tensorrt/lib:$LD_LIBRARY_PATH
export PATH=/opt/tensorrt/bin:$PATH

验证 TensorRT 是否安装成功，可以使用 Python 接口测试：

python3 -c "import tensorrt as trt; print(trt.__version__)"
# 输出示例：
# 8.6.1.6

如果 Python 环境中尚未安装 TensorRT 的 Python 包，可以通过 pip 安装：

pip install tensorrt==8.6.1.6

五、完整验证流程

环境搭建完成后，建议运行一个完整的端到端验证，确保三个组件能够协同工作。以下是一个简单的 TensorRT 推理验证脚本：

import tensorrt as trt
import numpy as np

# 创建 TensorRT 日志记录器
logger = trt.Logger(trt.Logger.WARNING)

# 构建一个简单的网络：输入 -> 全连接 -> 输出
builder = trt.Builder(logger)
network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))
config = builder.create_builder_config()

# 添加输入层
input_tensor = network.add_input("input", trt.float32, (1, 4))
# 添加全连接层（通过矩阵乘实现）
weights = np.random.randn(4, 3).astype(np.float32)
weights_tensor = network.add_constant((4, 3), weights)
matmul = network.add_matrix_multiply(input_tensor, trt.MatrixOperation.NONE, 
                                     weights_tensor.output, trt.MatrixOperation.NONE)
# 添加输出层
network.mark_output(matmul.get_output(0))

# 构建引擎
plan = builder.build_serialized_network(network, config)
print(f"引擎构建成功，大小: {len(plan)} 字节")

# 创建运行时并执行推理
runtime = trt.Runtime(logger)
engine = runtime.deserialize_cuda_engine(plan)
context = engine.create_execution_context()

# 准备输入输出缓冲区
input_data = np.random.randn(1, 4).astype(np.float32)
output_data = np.empty((1, 3), dtype=np.float32)

# 分配设备内存并执行
import pycuda.driver as cuda
import pycuda.autoinit

d_input = cuda.mem_alloc(input_data.nbytes)
d_output = cuda.mem_alloc(output_data.nbytes)
cuda.memcpy_htod(d_input, input_data)

context.execute_v2([int(d_input), int(d_output)])
cuda.memcpy_dtoh(output_data, d_output)

print("推理结果:", output_data)
print("环境验证通过！")

如果脚本能够正常输出推理结果，说明 CUDA、cuDNN 和 TensorRT 三者已经正确安装并能够协同工作。

六、常见问题与误区

常见问题	可能原因	解决方案
libcudnn.so.8: cannot open shared object file	cuDNN 库路径未加入 LD_LIBRARY_PATH	检查 LD_LIBRARY_PATH 是否包含 /usr/local/cuda/lib64
TensorRT 加载失败：CUDA driver version is insufficient	GPU 驱动版本低于 CUDA 要求	升级 NVIDIA 驱动到对应版本
nvcc 命令找不到	CUDA 的 bin 目录未加入 PATH	确认 export PATH=/usr/local/cuda/bin:$PATH
Python 导入 tensorrt 报错	Python 包与系统库版本不匹配	使用 pip install tensorrt==版本号 重新安装

七、环境配置复盘

回顾整个安装过程，有几个关键点值得特别注意：

• 版本匹配是核心：TensorRT、CUDA、cuDNN 三者版本必须严格对应，建议在安装前先确定 TensorRT 版本，再反向选择 CUDA 和 cuDNN 版本。
• 环境变量是桥梁：三个组件的动态库路径必须全部加入 LD_LIBRARY_PATH，否则运行时无法找到依赖库。
• 验证要全面：不要只检查 nvcc --version 或 python -c "import tensorrt"，应该运行一个完整的推理脚本，确保所有组件能够协同工作。
• 多版本管理：如果需要在多个项目中使用不同版本的 TensorRT，建议使用 Docker 容器或虚拟环境隔离，避免全局环境冲突。