📚 课程目录第2章环境搭建

环境搭建：安装CUDA、cuDNN、TensorRT，配置开发环境，验证安装

TensorRT 是英伟达推出的高性能深度学习推理优化器，其核心价值在于将训练好的模型转换为经过层融合、精度校准、内核自动调优后的推理引擎。然而，TensorRT 并非独立运行的程序，它深度依赖底层的 CUDA 运行时库和 cuDNN 深度学习原语库。如果底层驱动或库版本与 TensorRT 不匹配，即使代码逻辑完全正确，也会在引擎构建或推理阶段抛出令人困惑的错误。因此，环境搭建是整个 TensorRT 学习路径中最基础也最关键的环节。

核心原理：版本匹配是环境搭建的灵魂

TensorRT、CUDA、cuDNN 三者之间存在严格的版本依赖关系。CUDA 提供通用的 GPU 并行计算平台，cuDNN 为卷积、循环神经网络等常用算子提供高度优化的实现，而 TensorRT 则调用这些底层库来构建和运行推理引擎。英伟达官方为每个 TensorRT 版本指定了对应的 CUDA 和 cuDNN 最低版本要求，以及支持的 GPU 架构列表。

版本不匹配通常会导致两类典型问题：一是 TensorRT 在初始化时无法加载 cuDNN 或 CUDA 运行时库，直接报错退出；二是引擎构建成功，但在推理时出现数值错误或非法内存访问。因此，在安装前务必查阅 TensorRT 支持矩阵，确认操作系统、CUDA 版本、cuDNN 版本以及 GPU 架构的兼容性。

版本匹配速查表（以 TensorRT 8.6 为例）

组件	推荐版本	说明
操作系统	Ubuntu 20.04 / 22.04	Windows 与 Linux 安装方式不同，本课程以 Linux 为主
GPU 驱动	≥ 525.60.13	驱动版本需支持所选 CUDA 版本
CUDA	11.8 或 12.0	TensorRT 8.6 支持 CUDA 11.0~12.0
cuDNN	8.9.x	需与 CUDA 版本对应
TensorRT	8.6.1	选择 .tar 包或 deb 包安装

方法流程：从驱动到 TensorRT 的分步安装

环境搭建遵循“自底向上”的原则：先安装 GPU 驱动，再安装 CUDA，接着安装 cuDNN，最后安装 TensorRT。每一步都需要验证，避免将问题累积到最终阶段。

第一步：检查 GPU 驱动与硬件

在安装任何软件之前，先确认 GPU 型号和当前驱动版本。执行以下命令：

# 查看 GPU 硬件信息
lspci | grep -i nvidia

# 查看当前驱动版本（若已安装）
nvidia-smi

# 若未安装驱动，使用 ubuntu-drivers 自动安装推荐版本
sudo ubuntu-drivers autoinstall
sudo reboot

驱动安装完成后，再次运行 nvidia-smi，应能看到 GPU 型号、驱动版本以及 CUDA 版本信息。注意：nvidia-smi 显示的 CUDA 版本是驱动支持的最高版本，并非系统已安装的 CUDA 工具包版本。

第二步：安装 CUDA 工具包

CUDA 工具包包含编译器（nvcc）、运行时库和开发头文件。推荐使用 runfile 方式安装，以便灵活控制安装路径。以下以 CUDA 11.8 为例：

# 下载 CUDA 11.8 runfile（需注册 NVIDIA 开发者账号）
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run

# 执行安装，注意不要安装驱动（已装过），只安装工具包
sudo sh cuda_11.8.0_520.61.05_linux.run --toolkit --silent --override

# 配置环境变量
echo 'export PATH=/usr/local/cuda-11.8/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# 验证安装
nvcc --version

如果 nvcc --version 能正确输出 CUDA 版本号，说明 CUDA 工具包安装成功。注意，/usr/local/cuda 通常是一个软链接，指向具体的版本目录，便于多版本切换。

第三步：安装 cuDNN

cuDNN 以库文件形式提供，需要从 NVIDIA 官网下载与 CUDA 版本匹配的压缩包。下载后解压并将文件复制到 CUDA 目录：

# 解压 cuDNN 压缩包
tar -xzvf cudnn-linux-x86_64-8.9.7.29_cuda11-archive.tar.xz

# 复制头文件和库文件到 CUDA 目录
sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda-11.8/include/
sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda-11.8/lib64/

# 设置库文件权限
sudo chmod a+r /usr/local/cuda-11.8/include/cudnn*.h
sudo chmod a+r /usr/local/cuda-11.8/lib64/libcudnn*

# 验证 cuDNN 版本
cat /usr/local/cuda-11.8/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

第四步：安装 TensorRT

TensorRT 提供多种安装方式，推荐使用 tar 包方式，便于管理和多版本共存。以下以 TensorRT 8.6.1 为例：

# 下载 TensorRT tar 包
wget https://developer.nvidia.com/downloads/compute/machine-learning/tensorrt/secure/8.6.1/tars/TensorRT-8.6.1.6.Linux.x86_64-gnu.cuda-11.8.tar.gz

# 解压到指定目录
sudo mkdir -p /opt/tensorrt
sudo tar -xzvf TensorRT-8.6.1.6.Linux.x86_64-gnu.cuda-11.8.tar.gz -C /opt/tensorrt

# 配置环境变量
echo 'export LD_LIBRARY_PATH=/opt/tensorrt/TensorRT-8.6.1.6/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# 安装 Python 包（可选，若使用 Python API）
pip install /opt/tensorrt/TensorRT-8.6.1.6/python/tensorrt-8.6.1-cp38-none-linux_x86_64.whl

# 验证 TensorRT 版本
python3 -c "import tensorrt as trt; print(trt.__version__)"

提示：如果使用 Python API，务必确保 Python 版本与 TensorRT 提供的 wheel 包匹配。例如 TensorRT 8.6.1 提供了 cp38、cp39、cp310 等多个版本的 wheel 文件，选择与系统 Python 版本对应的文件安装。

案例：完整验证安装的正确性

安装完成后，不能仅凭版本号输出就认为环境可用。建议执行以下三步验证，确保所有组件能够协同工作。

第一步：验证 CUDA 与驱动通信

# 编译并运行 CUDA 自带的示例程序
cd /usr/local/cuda-11.8/samples/1_Utilities/deviceQuery
sudo make
./deviceQuery

如果输出包含 Detected 1 CUDA Capable device(s) 且末尾显示 Result = PASS，说明 CUDA 运行时与驱动通信正常。

第二步：验证 cuDNN 被 TensorRT 正确加载

# 使用 TensorRT 自带的样例程序
cd /opt/tensorrt/TensorRT-8.6.1.6/samples/trt-benchmark
make

# 运行一个简单的基准测试
./trt-benchmark --model=resnet50 --batch=1 --iterations=10

如果程序能正常完成推理并输出吞吐量数据，说明 cuDNN 库被正确加载。若出现 libcudnn.so.8: cannot open shared object file 错误，说明 LD_LIBRARY_PATH 配置有误或 cuDNN 文件未正确复制。

第三步：使用 Python API 构建引擎

import tensorrt as trt
import numpy as np

# 创建 logger 和 builder
logger = trt.Logger(trt.Logger.WARNING)
builder = trt.Builder(logger)
network = builder.create_network(1 << trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)

# 添加一个简单的输入层和全连接层
input_tensor = network.add_input("input", trt.float32, (1, 4))
weights = np.ones((4, 2), dtype=np.float32)
const_layer = network.add_constant((4, 2), weights)
matmul_layer = network.add_matrix_multiply(input_tensor, trt.MatrixOperation.NONE, 
                                           const_layer.get_output(0), trt.MatrixOperation.NONE)
network.mark_output(matmul_layer.get_output(0))

# 构建引擎
config = builder.create_builder_config()
engine = builder.build_engine(network, config)
print("Engine built successfully:", engine is not None)

如果输出 Engine built successfully: True，说明 TensorRT 的 Python API 能够正常构建引擎，整个环境链路已打通。

误区与复盘：常见安装陷阱

在环境搭建过程中，初学者经常遇到以下几类问题，这里逐一剖析原因和解决方案。

误区一：盲目安装最新版 CUDA

最新版 CUDA 往往要求最新的 GPU 驱动，而驱动更新可能影响其他依赖 CUDA 的应用程序。建议根据 TensorRT 支持矩阵选择稳定版本，而非一味追求最新。例如 TensorRT 8.6 对 CUDA 12.0 的支持已完善，但若 GPU 驱动版本较旧，选择 CUDA 11.8 更为稳妥。

误区二：忽略 LD_LIBRARY_PATH 配置

TensorRT 运行时需要动态加载 libcudnn.so 和 libcublas.so 等库。如果这些库不在系统默认搜索路径中，即使安装正确也会报错。务必在 ~/.bashrc 中同时配置 CUDA 和 TensorRT 的 lib 路径，并执行 source ~/.bashrc 使其生效。

误区三：多版本 CUDA 切换混乱

系统可能同时存在多个 CUDA 版本（如 11.8 和 12.0）。/usr/local/cuda 软链接指向哪个版本，nvcc 就使用哪个版本。建议使用 update-alternatives 工具管理软链接，避免手动修改造成混乱。

复盘整个安装过程，最核心的经验是：先确认版本兼容性，再动手安装；每完成一步立即验证，不要累积到最终才排查问题。环境搭建虽然繁琐，但一旦打通，后续的模型转换和性能优化工作就能顺畅进行。建议将上述安装步骤整理为自动化脚本，便于在多个机器上快速复现环境。