2、环境搭建：NVIDIA驱动、CUDA、cuDNN、TensorRT的版本匹配与安装步骤，以及Docker镜像的使用

在开始TensorRT开发之前，最令人头疼的往往不是算法本身，而是底层环境的搭建。NVIDIA驱动、CUDA、cuDNN、TensorRT这四个组件之间存在严格的版本依赖关系，任何一个版本不匹配都可能导致程序在运行时出现“symbol lookup error”或“CUDA driver version is insufficient”等难以排查的问题。本章将系统梳理版本匹配的核心逻辑，提供一套可复用的安装流程，并重点介绍如何利用Docker镜像彻底规避环境地狱。

2.1 核心原理：为什么版本匹配如此关键

TensorRT的底层依赖关系可以概括为一条单向链：GPU硬件 → NVIDIA驱动 → CUDA Toolkit → cuDNN → TensorRT。每一层都向下兼容，但向上不保证兼容。驱动是唯一直接与硬件交互的软件层，它通过系统调用向CUDA运行时提供GPU计算能力。CUDA Toolkit则包含编译器（nvcc）、运行时库和开发工具，它依赖驱动提供的底层接口。cuDNN是专门针对深度神经网络算子（卷积、池化、归一化等）优化的加速库，它必须与CUDA版本严格对应。TensorRT则构建在CUDA和cuDNN之上，负责将训练好的模型编译为高度优化的推理引擎。

理解这条链路的关键在于：驱动版本决定了CUDA的最高可用版本。例如，NVIDIA驱动版本535.x支持CUDA 12.2及以下版本，如果你安装了CUDA 12.4，系统会提示驱动版本过旧。而TensorRT 8.6要求CUDA 11.0~12.0，TensorRT 10.0则要求CUDA 12.x。这种层层嵌套的依赖关系，使得手动安装时任何一个组件的版本选择失误，都会导致后续所有工作无法进行。

2.2 版本匹配判断方法：一张表看清依赖关系

下表列出了当前主流TensorRT版本与CUDA、cuDNN、驱动版本的对应关系。请注意，这只是一个参考矩阵，实际使用时务必查阅NVIDIA官方文档获取最新信息。

判断方法遵循以下步骤：

1. 查询GPU算力：运行 nvidia-smi 查看GPU型号，然后对照NVIDIA官网的CUDA GPU支持列表确认算力（Compute Capability）。例如，Jetson Orin的算力为8.7，RTX 4090的算力为8.9。
2. 确定TensorRT版本：根据你的模型格式（ONNX、PyTorch等）和部署需求选择TensorRT版本。新版本通常支持更多算子，但可能引入不兼容变更。
3. 反查CUDA和cuDNN：在TensorRT的官方文档页面，找到对应版本的《Support Matrix》表格，确认所需的CUDA和cuDNN版本。
4. 确认驱动版本：运行 nvidia-smi 查看当前驱动版本，或访问NVIDIA驱动下载页面，选择支持所需CUDA版本的驱动。

2.3 手动安装步骤：从驱动到TensorRT的完整流程

以下以Ubuntu 22.04 + RTX 4090 + TensorRT 10.0为例，展示手动安装的完整流程。整个过程大约需要30分钟，请确保拥有sudo权限。

步骤一：安装NVIDIA驱动

# 1. 卸载旧驱动（如果有）
sudo apt purge nvidia-* -y
sudo apt autoremove -y

# 2. 添加NVIDIA官方驱动PPA
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update

# 3. 安装推荐版本驱动（535或更高）
sudo apt install nvidia-driver-535

# 4. 重启系统
sudo reboot

# 5. 验证驱动
nvidia-smi
# 应显示GPU型号、驱动版本、CUDA版本（注意：这里的CUDA版本是驱动支持的版本，不是已安装的Toolkit）

步骤二：安装CUDA Toolkit

# 1. 从NVIDIA官网下载CUDA 12.2 runfile（或使用deb方式）
wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda_12.2.0_535.54.03_linux.run

# 2. 执行安装，注意不要安装驱动（因为已装）
sudo sh cuda_12.2.0_535.54.03_linux.run --toolkit --silent --override

# 3. 配置环境变量
echo 'export PATH=/usr/local/cuda-12.2/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# 4. 验证
nvcc --version

步骤三：安装cuDNN

# 1. 从NVIDIA官网下载cuDNN 8.9 for CUDA 12.x（需要注册账号）
# 下载文件：cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz

# 2. 解压并复制到CUDA目录
tar -xvf cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz
sudo cp cudnn-linux-x86_64-8.9.7.29_cuda12-archive/include/cudnn*.h /usr/local/cuda-12.2/include/
sudo cp cudnn-linux-x86_64-8.9.7.29_cuda12-archive/lib/libcudnn* /usr/local/cuda-12.2/lib64/
sudo chmod a+r /usr/local/cuda-12.2/include/cudnn*.h /usr/local/cuda-12.2/lib64/libcudnn*

# 3. 验证
cat /usr/local/cuda-12.2/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

步骤四：安装TensorRT

# 1. 从NVIDIA官网下载TensorRT 10.0 GA tar包
# 下载文件：TensorRT-10.0.1.6.Linux.x86_64-gnu.cuda-12.4.tar.gz

# 2. 解压到指定目录
sudo tar -xzf TensorRT-10.0.1.6.Linux.x86_64-gnu.cuda-12.4.tar.gz -C /opt/
sudo mv /opt/TensorRT-10.0.1.6 /opt/tensorrt

# 3. 配置环境变量
echo 'export LD_LIBRARY_PATH=/opt/tensorrt/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
echo 'export PATH=/opt/tensorrt/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

# 4. 安装Python包（可选）
pip install /opt/tensorrt/python/tensorrt-10.0.1.6-cp38-none-linux_x86_64.whl

# 5. 验证
python3 -c "import tensorrt; print(tensorrt.__version__)"

2.4 Docker镜像使用：彻底解决环境依赖的终极方案

手动安装虽然可行，但在团队协作或跨设备部署时，环境不一致的问题会反复出现。NVIDIA NGC（NVIDIA GPU Cloud）提供了预构建的TensorRT Docker镜像，其中已经包含了驱动（通过nvidia-container-toolkit映射）、CUDA、cuDNN和TensorRT的完整组合。使用Docker镜像可以将环境搭建时间从30分钟缩短到3分钟，并且保证所有开发环境完全一致。

2.4.1 安装nvidia-container-toolkit

# 1. 添加NVIDIA容器工具包仓库
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

# 2. 安装
sudo apt update
sudo apt install -y nvidia-container-toolkit

# 3. 重启Docker
sudo systemctl restart docker

2.4.2 拉取并运行TensorRT镜像

# 1. 拉取NGC TensorRT镜像（以22.12版本为例）
docker pull nvcr.io/nvidia/tensorrt:22.12-py3

# 2. 运行容器并挂载工作目录
docker run --gpus all -it --rm \
  -v /home/user/project:/workspace \
  nvcr.io/nvidia/tensorrt:22.12-py3

# 3. 在容器内验证环境
python3 -c "import tensorrt; print(tensorrt.__version__)"
nvidia-smi

NGC镜像的标签命名规则为 YY.MM-pyX，其中YY.MM表示发布年月，pyX表示Python版本。例如 22.12-py3 表示2022年12月发布的Python 3.8版本。每个镜像都对应一个固定的TensorRT、CUDA、cuDNN版本组合，你可以在NGC官网查看每个标签的详细说明。

2.5 案例拆解：Jetson Orin上的环境搭建实战

下面通过一个实际案例，展示在Jetson Orin NX 16GB设备上搭建TensorRT环境的完整过程。该设备常用于边缘视觉检测场景，需要部署YOLOv8模型进行实时推理。

背景与约束：设备预装JetPack 5.1.2（基于Ubuntu 20.04），自带CUDA 11.4、cuDNN 8.6、TensorRT 8.5.2。但项目需要TensorRT 8.6以支持YOLOv8的某些新算子。由于Jetson设备无法更换驱动，只能通过SDK Manager升级JetPack版本。

初始现象：直接使用 pip install tensorrt 安装的Python包与系统自带的TensorRT库冲突，导致 import tensorrt 失败。

分析过程：Jetson的TensorRT库位于 /usr/lib/aarch64-linux-gnu/，而pip安装的包会覆盖Python路径。必须使用JetPack自带的TensorRT Python绑定，而不是从PyPI安装。

操作步骤：

1. 使用SDK Manager将JetPack升级到5.1.3，该版本包含TensorRT 8.6.2。
2. 在设备上激活Python虚拟环境，并添加系统TensorRT路径：export PYTHONPATH=/usr/lib/python3.8/dist-packages:$PYTHONPATH。
3. 验证：python3 -c "import tensorrt; print(tensorrt.__version__)" 输出 8.6.2。
4. 使用 trtexec 工具测试ONNX模型转换：trtexec --onnx=yolov8n.onnx --saveEngine=yolov8n.engine --fp16。

结果对比：升级前TensorRT 8.5.2转换YOLOv8模型时，部分算子回退到CUDA内核，推理延迟为12ms；升级到8.6.2后，所有算子均被TensorRT优化，延迟降至7ms，性能提升约40%。

风险与代价：升级JetPack需要重新烧录系统，耗时约30分钟，且可能影响其他已部署的服务。建议在开发板上先进行完整测试，再批量升级生产设备。

复盘经验：在Jetson平台上，永远不要手动安装CUDA或cuDNN，必须通过JetPack统一管理。如果遇到版本不满足需求的情况，优先考虑升级JetPack，而不是单独替换某个组件。

2.6 常见误区与总结

在环境搭建过程中，以下误区最容易导致时间浪费：

• 误区一：驱动版本越新越好。实际上，过新的驱动可能引入与CUDA Toolkit不兼容的问题。建议选择与CUDA版本匹配的“推荐驱动”而非“最新驱动”。
• 误区二：使用pip安装TensorRT。pip包通常只包含Python绑定，不包含完整的C++库。在x86平台上，应该使用tar包或deb包安装；在Jetson上，应该使用JetPack自带的版本。
• 误区三：忽略cuDNN的版本。cuDNN版本不匹配时，TensorRT在构建引擎时可能报错，但错误信息往往不直观。建议在安装后立即验证cuDNN版本。
• 误区四：在Docker容器内安装驱动。Docker容器共享宿主机的内核和驱动，容器内不需要也不能安装驱动。只需安装nvidia-container-toolkit即可。

总结而言，环境搭建的核心策略是：优先使用Docker镜像，其次使用官方SDK（如JetPack），最后才考虑手动安装。手动安装时，务必按照“驱动→CUDA→cuDNN→TensorRT”的顺序进行，并在每一步完成后进行验证。记住，版本匹配不是“能用就行”，而是“性能最优且稳定可靠”。在Edge AI场景中，一个经过验证的环境组合，往往比追求最新版本更能保证项目的顺利推进。