4. 环境搭建
在金融模型推理加速的工程实践中，环境搭建往往是最容易被低估、却最容易消耗时间的一环。CUDA、cuDNN、TensorRT 三者之间存在严格的版本依赖关系，而金融场景又常常要求同一台机器上并行运行多个模型版本、多个客户环境。因此，本章不仅讲“怎么装”，更讲“怎么装得可复现、可验证、可迁移”。
一、核心原理：三层依赖栈的耦合关系
TensorRT 并不是一个孤立运行的库，它建立在 CUDA 运行时之上，并依赖 cuDNN 提供的高性能算子实现。可以把整个推理栈理解为三层：最底层是 NVIDIA 驱动，它决定了系统能够支持的最高 CUDA 版本；中间层是 CUDA Toolkit 与 cuDNN，提供并行计算原语和深度学习算子；最上层是 TensorRT，负责图优化、层融合、精度校准与内核自动调优。
关键约束在于：驱动版本决定 CUDA 上限，CUDA 版本决定 cuDNN 与 TensorRT 的可选范围。例如 TensorRT 8.6 通常要求 CUDA 11.8 或 12.x，而 cuDNN 8.x 又必须与 CUDA 主版本匹配。金融模型常涉及 FP16、INT8 校准，若 cuDNN 版本不匹配，可能出现算子回退到慢速实现，导致加速比远低于预期。
二、方法流程：从裸机到可验证环境
推荐采用“先验证驱动、再装 CUDA、后装 cuDNN 与 TensorRT、最后统一验证”的顺序，避免版本冲突后反复重装。
- 检查驱动与 GPU 状态：执行
nvidia-smi，记录 Driver Version 与 CUDA Version（该 CUDA 版本是驱动支持上限，不是已安装版本）。 - 安装 CUDA Toolkit：优先使用官方 runfile 或 apt 源，安装后配置环境变量。
- 安装 cuDNN：将头文件与库文件复制到 CUDA 目录，或使用 apt 包管理。
- 安装 TensorRT：推荐使用 tar 包或 pip 安装
tensorrt，注意与 CUDA 主版本对应。 - 验证：分别验证 CUDA 编译、cuDNN 加载、TensorRT 推理三条链路。
# 1. 查看驱动与驱动支持的 CUDA 上限
nvidia-smi
# 2. 验证 CUDA 编译器与运行时
nvcc --version
cat /usr/local/cuda/version.json
# 3. 验证 cuDNN
cat /usr/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
# 4. 验证 TensorRT Python 绑定
python -c "import tensorrt as trt; print(trt.__version__)"
# 5. 使用 trtexec 做一次最小推理验证
/usr/src/tensorrt/bin/trtexec --onnx=model.onnx --fp16 --workspace=2048trtexec --onnx=... 做端到端验证。金融模型常包含动态 shape 与自定义插件，若 trtexec 能成功构建并推理，说明 CUDA、cuDNN、TensorRT 三层链路均已打通。
三、Docker 环境配置：金融场景的复现利器
金融模型对版本一致性要求极高，同一策略在不同机器上因 CUDA 小版本差异导致数值偏差的案例并不少见。Docker 结合 NVIDIA Container Toolkit 可以把驱动之外的所有依赖固化进镜像，实现“一次构建、处处推理”。
# 安装 NVIDIA Container Toolkit 后，验证 GPU 是否可被容器访问
docker run --rm --gpus all nvidia/cuda:11.8.0-cudnn8-runtime-ubuntu22.04 nvidia-smi
# 基于官方 TensorRT 镜像构建业务镜像
FROM nvcr.io/nvidia/tensorrt:23.10-py3
RUN pip install --no-cache-dir onnx onnxruntime pycuda
WORKDIR /workspace
COPY model.onnx /workspace/
CMD ["/usr/src/tensorrt/bin/trtexec", "--onnx=/workspace/model.onnx", "--fp16"]构建与运行命令如下：
docker build -t fin-trt:1.0 .
docker run --rm --gpus all -v $(pwd)/models:/workspace/models fin-trt:1.0四、版本对照与常见误区复盘
| 组件 | 推荐版本 | 验证命令 | 常见问题 |
|---|---|---|---|
| NVIDIA 驱动 | ≥ 525（CUDA 12） | nvidia-smi |
驱动过旧导致 CUDA 12 不可用 |
| CUDA Toolkit | 11.8 或 12.2 | nvcc --version |
多版本共存时 PATH 指向错误 |
| cuDNN | 8.9 / 9.x | cudnn_version.h |
与 CUDA 主版本不匹配 |
| TensorRT | 8.6 / 10.x | trt.__version__ |
pip 包与系统 CUDA 冲突 |
| Docker GPU | Container Toolkit 1.14+ | --gpus all |
未安装 toolkit 导致 GPU 不可见 |
nvidia-smi 显示的 CUDA Version 误认为已安装的 CUDA 版本；其二，在 conda 环境中混用 pip 与 apt 安装的 TensorRT，导致动态库加载失败；其三，容器内未挂载 --gpus all，却误判为 TensorRT 安装失败。排查时应先确认 nvidia-smi 在容器内可执行，再逐层验证。
完成本章环境搭建后，你应当能够在一台裸机或容器中稳定复现 CUDA、cuDNN、TensorRT 的完整链路，并用 trtexec 与 Python 绑定双重验证。这套环境将成为后续模型转换、精度校准与性能调优的统一基线。