4、环境搭建：安装vLLM、配置GPU环境、验证安装

4.1 环境准备的核心原则

在动手安装vLLM之前，必须先明确一个关键事实：vLLM是一个高度依赖GPU计算能力的推理引擎，它的动态批处理、PagedAttention显存管理、连续批处理调度等核心机制，全部建立在CUDA生态之上。如果底层环境不匹配，后续所有性能优化技巧都将失去载体。

本节环境搭建遵循三条原则：版本锁定、驱动优先、最小化验证。版本锁定指Python、CUDA、PyTorch、vLLM四者必须形成兼容矩阵；驱动优先指先确认NVIDIA驱动支持目标CUDA版本，再安装上层软件；最小化验证指安装完成后用最短路径确认推理链路通畅，而不是直接跑大模型。

4.2 安装方法流程

推荐使用Python虚拟环境隔离vLLM及其依赖，避免与系统Python包冲突。以下流程在Ubuntu 22.04 + Python 3.10环境下验证通过。

步骤一：创建虚拟环境

python3 -m venv vllm_env
source vllm_env/bin/activate
pip install --upgrade pip setuptools wheel

步骤二：安装PyTorch（CUDA 12.4版本）

pip install torch==2.4.1 torchvision==0.19.1 --index-url https://download.pytorch.org/whl/cu124

步骤三：安装vLLM

pip install vllm==0.6.3

vLLM安装过程会自动拉取transformers、flash-attn、xformers等依赖。若网络受限，可预先配置国内镜像源：

pip install vllm==0.6.3 -i https://pypi.tuna.tsinghua.edu.cn/simple

4.3 GPU环境配置与验证

安装完成后，必须逐层验证GPU环境是否真正可用。以下验证顺序遵循从底层到上层的原则，任何一层失败都无需继续。

快速推理验证

使用vLLM自带的离线推理接口，加载一个小型模型验证完整链路。这里选择facebook/opt-125m，参数量仅1.25亿，下载快且推理耗时短：

from vllm import LLM, SamplingParams

llm = LLM(model="facebook/opt-125m", gpu_memory_utilization=0.6)
outputs = llm.generate(["Hello, my name is"], SamplingParams(max_tokens=50))
print(outputs[0].outputs[0].text)

若输出一段连贯的英文文本，说明环境搭建成功。此时可以进一步用nvidia-smi观察显存占用，会看到约1～2GB的显存被模型权重和KV cache占用，这正是vLLM PagedAttention机制在预分配显存池的表现。

4.4 典型安装问题与复盘

根据社区反馈和实际部署经验，以下三个问题出现频率最高，值得提前规避：

• CUDA版本不匹配导致vLLM无法导入：错误信息通常为 CUDA error: no kernel image is available for execution on the device。原因是PyTorch的CUDA编译版本与驱动支持的CUDA版本不一致。解决方法是先运行 nvidia-smi 查看驱动支持的CUDA版本，再选择对应的PyTorch安装源。
• 显存不足导致模型加载失败：vLLM默认会尝试使用90%的可用显存。若GPU同时被其他进程占用，会报 CUDA out of memory。此时需在初始化LLM时显式设置 gpu_memory_utilization=0.7，或先清理其他进程。
• FlashAttention编译失败：vLLM依赖FlashAttention加速注意力计算。若安装时未预编译二进制包，pip会尝试源码编译，耗时较长且容易因GCC版本过旧失败。建议直接安装预编译版本：pip install flash-attn==2.6.3 --no-build-isolation。