环境准备：GPU服务器选型建议、CUDA与cuDNN环境配置、Docker镜像搭建、Python虚拟环境管理

做推理引擎，第一关就是搭环境。很多人觉得这事简单，装个驱动、配个Python环境就完事了。但我在项目里见过太多人卡在这一步——显卡不兼容、CUDA版本对不上、Docker镜像跑不起来……一折腾就是半天。

说白了，环境准备是地基。地基没打好，后面再好的推理优化技巧也白搭。今天我就把这几块内容掰开揉碎了讲清楚。

GPU服务器选型建议

选GPU这事，我踩过不少坑。最早做推理时，我直接拿训练卡来跑推理，结果发现性价比极低。推理和训练对GPU的需求完全不同。

推理场景下，核心瓶颈是显存带宽和显存容量，而不是算力。你想想看，推理时模型参数是固定的，每次前向传播的计算量远小于训练时的反向传播。所以，选推理卡时，我建议优先看这几个指标：

指标	重要性	说明
显存带宽	★★★★★	直接影响token生成速度，越高越好
显存容量	★★★★★	决定能跑多大的模型，7B模型至少需要16GB
FP8/INT8支持	★★★★	量化推理必备，H100/B200原生支持FP8
NVLink带宽	★★★	多卡推理时，卡间通信速度很关键
单精度算力	★★	推理场景下，算力通常不是瓶颈

我个人习惯把推理场景分成三类，每类的选型策略不同：

• 单卡小模型（7B以下）：RTX 4090 或 A10。4090的显存带宽超过1TB/s，性价比极高。但注意，4090没有NVLink，多卡扩展性差。
• 多卡中模型（7B-70B）：A100 80GB 或 H100。A100的显存带宽2TB/s，H100更是达到3.35TB/s。我建议至少配4卡，用张量并行切分模型。
• 超大模型（70B以上）：H100 或 B200。这类模型需要多机多卡，NVLink和InfiniBand是标配。预算有限的话，可以考虑A100 80GB 8卡方案。

CUDA与cuDNN环境配置

CUDA和cuDNN的版本匹配，是环境配置里最容易出问题的地方。我记得有一次，团队里有人装了CUDA 12.0，但cuDNN还是8.x的版本，结果推理引擎死活编译不过。查了半天才发现是版本不兼容。

这里我给出一个经过验证的版本对应表：

CUDA版本	cuDNN版本	推荐场景
11.8	8.9.7	兼容性最好，vLLM/TGI都支持
12.1	8.9.7	新特性多，但部分框架支持不完善
12.4	9.1.0	最新版，适合H100/B200

安装步骤其实不复杂，但顺序很重要：

1. 装NVIDIA驱动：用nvidia-smi确认驱动版本。驱动版本必须高于CUDA的最低要求。
2. 装CUDA Toolkit：从NVIDIA官网下载runfile或deb包。我建议用runfile，可以自定义安装路径，方便多版本共存。
3. 装cuDNN：下载对应CUDA版本的cuDNN包，解压后把文件复制到CUDA目录下。
4. 配置环境变量：把CUDA的bin和lib64路径加到PATH和LD_LIBRARY_PATH里。

# 安装CUDA 12.1示例
wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run
sudo sh cuda_12.1.0_530.30.02_linux.run --toolkit --silent --override

# 配置环境变量（加到~/.bashrc）
export PATH=/usr/local/cuda-12.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH

# 安装cuDNN 8.9.7
tar -xzvf cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz
sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda-12.1/include
sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda-12.1/lib64
sudo chmod a+r /usr/local/cuda-12.1/include/cudnn*.h /usr/local/cuda-12.1/lib64/libcudnn*

Docker镜像搭建

Docker是推理引擎部署的标配。为什么？因为环境一致性。你在开发机上配好的环境，到了生产环境可能因为驱动版本、系统库不同而跑不起来。Docker把整个环境打包，到哪都能跑。

我建议直接用NVIDIA官方提供的PyTorch镜像作为基础镜像。这些镜像已经配好了CUDA、cuDNN和PyTorch，省去很多麻烦。

# 拉取PyTorch 2.1.0 + CUDA 12.1镜像
docker pull nvcr.io/nvidia/pytorch:23.10-py3

# 启动容器，挂载代码目录
docker run --gpus all -it --rm \
  -v /path/to/your/code:/workspace \
  -p 8000:8000 \
  nvcr.io/nvidia/pytorch:23.10-py3 \
  /bin/bash

如果你需要定制环境，可以写Dockerfile：

FROM nvcr.io/nvidia/pytorch:23.10-py3

# 安装推理引擎依赖
RUN pip install vllm==0.4.0 transformers==4.40.0

# 安装系统工具
RUN apt-get update && apt-get install -y \
    htop \
    vim \
    && rm -rf /var/lib/apt/lists/*

# 设置工作目录
WORKDIR /workspace

构建并运行：

docker build -t inference-engine:latest .
docker run --gpus all -it --rm inference-engine:latest

Python虚拟环境管理

Docker解决了系统级的环境隔离，但Python包级别的隔离还得靠虚拟环境。我见过有人在Docker容器里直接用全局Python装包，结果不同项目依赖冲突，搞得一团糟。

Python虚拟环境工具有很多：venv、conda、poetry、pipenv。我个人最推荐conda，原因有三：

• 能管理Python版本（venv做不到）
• 能安装非Python的依赖（比如cuDNN、OpenMPI）
• 环境切换速度快

基本操作：

# 创建环境，指定Python版本
conda create -n inference python=3.10

# 激活环境
conda activate inference

# 安装PyTorch（CUDA 12.1版本）
pip install torch==2.1.0 --index-url https://download.pytorch.org/whl/cu121

# 安装推理引擎
pip install vllm==0.4.0

# 导出环境配置
conda env export > environment.yaml

# 从配置恢复环境
conda env create -f environment.yaml

如果你更习惯venv，也可以：

python3.10 -m venv inference_venv
source inference_venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt

整体环境架构

下面这张图展示了推理引擎的完整环境栈。从底层硬件到上层应用，每一层都有明确的职责：

从这张图可以看得很清楚：每一层都依赖下一层。GPU硬件是基础，驱动和CUDA层提供计算能力，Docker容器隔离系统环境，Python虚拟环境管理包依赖，最后才是推理应用。任何一层出问题，上层都跑不起来。