环境搭建：CUDA、cuDNN、TensorRT的安装与配置，版本兼容性检查

在开始CUDA与TensorRT协同工作流之前，第一步也是最容易埋下隐患的一步，就是环境搭建。很多开发者花费大量时间调试模型推理性能，最终却发现瓶颈并非来自网络结构或算子选择，而是底层CUDA、cuDNN与TensorRT版本之间不匹配，导致驱动加载失败、算子回退到CPU甚至直接报错。本节将系统梳理三者的安装顺序、版本对应关系以及验证方法，帮助你搭建一个稳定、可复现的推理环境。

核心原理：三层依赖关系

CUDA、cuDNN与TensorRT并非三个孤立的软件包，而是存在严格的层级依赖关系。理解这一关系是避免版本混乱的前提。

CUDA Toolkit：提供底层GPU编程接口与运行时库（如libcudart.so），是所有GPU计算的基础。它直接与NVIDIA驱动通信。
cuDNN：基于CUDA构建的深度神经网络加速库，提供卷积、池化、归一化等算子的高度优化实现。它依赖CUDA运行时，并针对特定CUDA版本编译。
TensorRT：NVIDIA推出的高性能推理优化器，它依赖CUDA和cuDNN，同时还会调用cublas、cufft等其他CUDA库。TensorRT在构建引擎时会将网络层映射到cuDNN或自研kernel上。

因此，安装顺序必须是：GPU驱动 → CUDA Toolkit → cuDNN → TensorRT。每一层都向下兼容，但向上不保证。例如，TensorRT 8.6可能要求CUDA 11.x或12.x，但如果你安装了CUDA 12.4，而TensorRT 8.6仅支持到12.0，则可能无法正常加载。

关键认知：驱动版本决定CUDA版本的上限，CUDA版本决定cuDNN和TensorRT的可用范围。不要盲目追求最新版本，而应选择经过验证的稳定组合。

方法流程：从零开始的安装步骤

以下以Ubuntu 22.04 + CUDA 12.2 + cuDNN 8.9.7 + TensorRT 8.6.1这一经典组合为例，展示完整安装流程。该组合经过广泛验证，适合大多数生产环境。

第一步：确认GPU与驱动

# 查看GPU型号
lspci | grep -i nvidia

# 查看当前驱动版本
nvidia-smi

# 如果驱动未安装或版本过低，先安装驱动
sudo apt update
sudo apt install nvidia-driver-535
# 重启后再次运行 nvidia-smi 确认

注意：驱动版本必须支持你计划安装的CUDA版本。例如，CUDA 12.2要求驱动版本≥525.60.13。如果驱动过旧，即使CUDA安装成功，运行时也会报CUDA driver version is insufficient错误。

第二步：安装CUDA Toolkit

# 从NVIDIA官网下载runfile或使用apt仓库
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda-repo-ubuntu2204-12-2-local_12.2.0-535.54.03-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2204-12-2-local_12.2.0-535.54.03-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2204-12-2-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda

# 配置环境变量
echo 'export PATH=/usr/local/cuda-12.2/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# 验证
nvcc --version

第三步：安装cuDNN

cuDNN需要从NVIDIA官网注册后下载，无法通过apt直接获取。下载Local Installer for Ubuntu22.04 x86_64 (Deb)包：

# 安装cuDNN运行时库和开发库
sudo dpkg -i cudnn-local-repo-ubuntu2204-8.9.7.29_1.0-1_amd64.deb
sudo cp /var/cudnn-local-repo-ubuntu2204-8.9.7.29/cudnn-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get install libcudnn8=8.9.7.29-1+cuda12.2
sudo apt-get install libcudnn8-dev=8.9.7.29-1+cuda12.2

# 验证cuDNN版本
cat /usr/include/x86_64-linux-gnu/cudnn_version.h | grep CUDNN_MAJOR -A 2

第四步：安装TensorRT

# 下载TensorRT 8.6.1的deb包
sudo dpkg -i nv-tensorrt-repo-ubuntu2204-cuda12.2-trt8.6.1.6-ga-20240131_1-1_amd64.deb
sudo apt-get update
sudo apt-get install tensorrt

# 验证TensorRT版本
dpkg -l | grep TensorRT
python3 -c "import tensorrt as trt; print(trt.__version__)"

案例：版本不匹配的典型故障

某团队在部署YOLOv8推理服务时，遇到以下错误：

[E] Error Code 1: Serialization (Serialization assertion failed. 
Unable to deserialize engine. Ensure the engine was built with 
the same version of TensorRT and CUDA.)

排查过程：

检查nvidia-smi显示驱动版本为470.82，支持CUDA 11.4。
但服务器上安装了CUDA 12.2，nvcc --version显示12.2。
TensorRT 8.6.1是为CUDA 12.2编译的，但驱动470.82不支持CUDA 12.x运行时。
最终解决方案：将驱动升级到535.104.05，并重新安装匹配的CUDA 12.2。

教训：驱动版本是硬性门槛。即使CUDA Toolkit安装成功，如果驱动不支持，运行时依然会失败。建议在安装前先查阅NVIDIA驱动兼容性表，确认驱动版本≥CUDA所需的最低版本。

误区与复盘：常见安装陷阱

误区	后果	正确做法
直接使用`pip install tensorrt`	安装的是Python绑定，缺少C++库，无法构建引擎	先安装deb包，再安装Python绑定
多个CUDA版本共存时未设置`LD_LIBRARY_PATH`	程序链接到错误的CUDA库，运行时崩溃	使用`update-alternatives`或显式指定路径
忽略cuDNN的符号链接	TensorRT加载`libcudnn.so.8`失败	检查`/usr/lib/x86_64-linux-gnu/`下的符号链接
在Docker中未匹配宿主机驱动	容器内无法使用GPU	使用`--gpus all`并确保驱动版本一致

最后，建议在完成安装后，运行一个完整的验证脚本，确保所有组件协同工作：

# 验证CUDA
nvcc --version

# 验证cuDNN
cat /usr/include/x86_64-linux-gnu/cudnn_version.h | grep CUDNN_MAJOR

# 验证TensorRT
python3 -c "import tensorrt as trt; print(trt.__version__)"

# 验证GPU可用性
python3 -c "import torch; print(torch.cuda.is_available())"

环境搭建是后续所有工作的基石。花30分钟仔细完成版本匹配与验证，可以避免未来数天的调试痛苦。记住：稳定比最新更重要，选择经过验证的组合，并记录你的环境配置，以便团队协作和问题复现。