环境搭建：安装ONNX、TensorRT、CUDA、cuDNN，配置Python环境

在开始ONNX模型到TensorRT的推理优化之前，必须先搭建一套完整、兼容的软件环境。很多初学者在后续步骤中遇到“模型转换失败”或“推理结果错误”，根源往往不是代码逻辑问题，而是环境组件版本不匹配。本章将系统梳理各依赖组件的定位、版本匹配原则以及Python环境的配置方法。

核心原理：理解各组件的分工与依赖关系

整个优化链路中，每个组件都扮演着不可替代的角色，它们之间的协作关系决定了最终推理性能的上限。CUDA是NVIDIA GPU的底层驱动接口，负责管理GPU硬件资源；cuDNN是基于CUDA的深度神经网络加速库，为卷积、池化、归一化等常用算子提供高度优化的实现；TensorRT则是在CUDA和cuDNN之上构建的推理优化引擎，它通过层融合、精度校准、内核自动调优等手段，将模型编译为针对特定GPU架构优化的执行计划。

ONNX（Open Neural Network Exchange）作为模型交换格式，位于框架与推理引擎之间。它本身不执行计算，而是充当“通用语言”——将PyTorch、TensorFlow等训练框架产出的模型统一描述为计算图，再交由TensorRT解析和优化。理解这条链路后，版本匹配的逻辑就清晰了：TensorRT的版本决定了其支持的CUDA/cuDNN版本范围，而CUDA版本又受GPU驱动版本约束。因此，安装顺序应当自底向上：先确认GPU驱动，再安装CUDA，随后安装cuDNN，最后安装TensorRT和ONNX相关工具。

方法流程：分步安装与验证

下面以Ubuntu 20.04/22.04系统为例，给出完整的安装流程。Windows环境下的步骤类似，但需注意驱动安装方式和环境变量配置的差异。

第一步：确认GPU驱动与硬件

执行 nvidia-smi 命令查看驱动版本和GPU型号。驱动版本必须足够新，以支持后续安装的CUDA版本。例如，CUDA 12.x要求驱动版本≥525.60.13（Linux）。若驱动过旧，需先通过NVIDIA官网或系统包管理器升级驱动。

# 查看GPU信息与驱动版本
nvidia-smi

# 输出示例
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 535.104.05   Driver Version: 535.104.05   CUDA Version: 12.2     |
+-----------------------------------------------------------------------------+

第二步：安装CUDA Toolkit

从NVIDIA官网下载对应版本的CUDA Toolkit安装包。推荐使用runfile方式安装，便于自定义安装路径。安装时不要覆盖系统自带的驱动，仅安装Toolkit组件。

# 以CUDA 12.1为例（下载对应runfile后执行）
sudo sh cuda_12.1.0_530.30.02_linux.run \
    --toolkit --silent --override

# 配置环境变量（写入 ~/.bashrc）
export PATH=/usr/local/cuda-12.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH

# 验证安装
nvcc --version   # 应显示Cuda compilation tools版本

第三步：安装cuDNN

cuDNN需要NVIDIA开发者账号才能下载。下载与CUDA版本匹配的cuDNN压缩包，解压后将文件复制到CUDA安装目录。

# 以cuDNN 8.9.5 for CUDA 12.x为例
tar -xvf cudnn-linux-x86_64-8.9.5.29_cuda12-archive.tar.xz
cd cudnn-linux-x86_64-8.9.5.29_cuda12-archive

sudo cp include/cudnn*.h /usr/local/cuda-12.1/include/
sudo cp lib/libcudnn* /usr/local/cuda-12.1/lib64/
sudo chmod a+r /usr/local/cuda-12.1/include/cudnn*.h \
               /usr/local/cuda-12.1/lib64/libcudnn*

# 验证cuDNN版本
cat /usr/local/cuda-12.1/include/cudnn_version.h | grep CUDNN_MAJOR

第四步：安装TensorRT

TensorRT提供多种安装方式，推荐使用Python的pip安装，它会自动处理依赖的CUDA/cuDNN库（前提是系统路径中已存在对应版本）。也可以下载tar包手动安装，便于在离线环境部署。

# 方式一：pip安装（推荐）
pip install tensorrt==8.6.1

# 方式二：tar包安装
tar -xzvf TensorRT-8.6.1.6.Linux.x86_64-gnu.cuda-12.0.tar.gz
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$PWD/TensorRT-8.6.1.6/lib

# 验证TensorRT
python -c "import tensorrt as trt; print(trt.__version__)"

第五步：安装ONNX与Python依赖

建议使用conda或venv创建独立的Python虚拟环境，避免不同项目间的依赖冲突。ONNX Runtime提供CPU和GPU两个版本，GPU版本需要额外安装onnxruntime-gpu。

# 创建并激活虚拟环境
python -m venv trt_env
source trt_env/bin/activate

# 安装ONNX生态工具
pip install onnx onnxruntime-gpu onnx2trt

# 安装其他常用依赖
pip install numpy pyyaml pillow

# 验证ONNX Runtime GPU可用性
python -c "import onnxruntime as ort; print(ort.get_available_providers())"
# 输出应包含 ['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider']

案例场景：典型配置组合参考

为了帮助读者快速选择版本组合，下表列出了三组经过验证的配置方案。实际项目应优先参考TensorRT官方Release Notes中的兼容性矩阵。

import tensorrt as trt
import onnxruntime as ort
import onnx

print("TensorRT版本:", trt.__version__)
print("ONNX版本:", onnx.__version__)
print("ONNX Runtime providers:", ort.get_available_providers())

误区与复盘：常见安装问题排查

误区一：盲目追求最新版本。许多初学者倾向于安装所有组件的最新版，结果发现TensorRT 10.0不支持ONNX Runtime 1.16中的某些算子，或者CUDA 12.4与cuDNN 9.0存在兼容性缺口。正确的做法是：先确定TensorRT版本，再反向匹配其他组件。

误区二：忽略驱动版本约束。CUDA Toolkit安装时通常会提示“驱动版本过旧”，但有些用户选择忽略并强制安装，导致后续运行TensorRT时出现CUDA_ERROR_INSUFFICIENT_DRIVER错误。务必先升级驱动再安装CUDA。

误区三：Python环境混乱。系统Python与虚拟环境混用，或同时安装多个版本的TensorRT，会导致libnvinfer.so加载冲突。建议每个项目使用独立的虚拟环境，并在环境内统一管理所有依赖。

常见错误与解决方案：

• 错误：ImportError: libcudnn.so.8: cannot open shared object file
  解决：确认cuDNN库已复制到CUDA的lib64目录，且LD_LIBRARY_PATH包含该路径。
• 错误：TensorRT initialization failed: Could not find cudnn.h
  解决：cuDNN头文件未正确安装，重新执行sudo cp include/cudnn*.h /usr/local/cuda/include/。
• 错误：onnxruntime-gpu 与 tensorrt 版本不兼容
  解决：检查onnxruntime的TensorrtExecutionProvider是否支持当前TensorRT版本，必要时降级onnxruntime。