第4章 vLLM快速入门：从架构到实战调用

vLLM 这个项目，我第一次看到就觉得「嗯，有点东西」。当时团队正被大模型推理的显存问题搞得焦头烂额——一张 A100 跑个 13B 模型，并发稍微上来点就 OOM。后来试了 vLLM，效果确实惊艳。这一章我们就把它拆开看看，到底是怎么做到的。

4.1 vLLM 架构概览：它到底干了什么

vLLM 本质上是一个高性能推理引擎。它不训练模型，只负责把训练好的模型跑起来，跑得快、跑得省。

它的核心架构可以分成三层：

  • 调度层：决定谁来算、什么时候算
  • 内存管理层：PagedAttention 的核心，管 KV Cache 的分配和复用
  • 执行层：调用 CUDA kernel 真正做矩阵运算

我个人习惯把 vLLM 想象成一个智能的显存管家。传统方案里，显存是「先分好再用」，vLLM 是「用多少分多少，用完立刻回收」。这个思路的转变，直接让推理吞吐量翻了几倍。

一句话总结：vLLM 通过精细化的显存管理 + 高效的调度策略，把 GPU 的利用率拉到了极致。

下面这张图展示了 vLLM 的核心工作流程：

vLLM 推理引擎核心流程 用户请求 调度器 (Scheduler) PagedAttention 内存管理 CUDA Kernel 执行 生成 Token 输出 关键特性 连续批处理 动态显存分配 优化目标 高吞吐 低显存碎片

4.2 PagedAttention 原理：显存革命的秘密

PagedAttention 是 vLLM 的杀手锏。说白了，它借鉴了操作系统的虚拟内存分页思想。

传统 Attention 计算时，KV Cache 是一整块连续显存。问题是：你事先不知道一个请求会生成多少个 token。于是只能按最大长度预分配——比如 max_length=2048，那就一次性占满。结果呢？很多请求只生成了几十个 token，大量显存白白浪费。

PagedAttention 的做法完全不同：

  • 把 KV Cache 切成固定大小的 Block（比如 16 个 token 一块）
  • 按需分配，用多少分多少
  • 不连续的物理块通过 Block Table 映射成连续的逻辑视图

我的经验：曾经有个项目，用传统方式跑 Llama-13B，batch_size=8 就爆显存。换成 vLLM 后，同样的显存跑到了 batch_size=32，吞吐量直接翻了 3 倍。这个差距主要就是 PagedAttention 带来的。

下面这张图对比了传统方案和 PagedAttention 的内存布局：

传统方案 vs PagedAttention 内存布局 传统方案（连续分配） 预分配 2048 个 token 的连续显存 已用 512 浪费 1536 PagedAttention（分页分配） 块1 块2 块3 块4 块5 块6 Block Table 映射 逻辑连续 → 物理离散 按需分配，零浪费

4.3 安装与启动：十分钟跑起来

安装 vLLM 其实很简单。我个人建议用 pip 直接装，省事。

# 安装 vLLM
pip install vllm

# 验证安装
python -c "import vllm; print(vllm.__version__)"

注意：vLLM 对 CUDA 版本有要求。我遇到过有人用 CUDA 11.7 装不上，换成 11.8 就好了。建议用 CUDA 11.8 或 12.1。

启动一个模型服务，只需要几行代码：

# 启动 vLLM 服务（命令行方式）
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-2-7b-chat-hf \
    --port 8000 \
    --gpu-memory-utilization 0.9 \
    --max-model-len 4096

参数说明：

参数 作用 我的建议
--model 指定模型路径或 HuggingFace 名称 第一次用建议先下载到本地
--gpu-memory-utilization GPU 显存利用率上限 0.85~0.95 比较稳妥
--max-model-len 最大序列长度 根据显存调整，别贪大
--port 服务端口 8000 是惯例，可以改

避坑指南：我曾经把 --gpu-memory-utilization 设成 0.99，结果模型加载到 97% 就卡死了。后来改成 0.9，一切正常。留点余量，别把显存吃满。

4.4 OpenAI 兼容 API 调用：无缝切换

vLLM 最贴心的一点是：它提供了和 OpenAI API 完全兼容的接口。这意味着你之前用 OpenAI 写的代码，几乎不用改就能切换到本地模型。

启动服务后，用 Python 调用：

import openai

# 配置客户端
client = openai.OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"  # vLLM 不校验 key
)

# 聊天补全
response = client.chat.completions.create(
    model="meta-llama/Llama-2-7b-chat-hf",
    messages=[
        {"role": "system", "content": "你是一个有用的助手。"},
        {"role": "user", "content": "请用一句话解释什么是 PagedAttention。"}
    ],
    temperature=0.7,
    max_tokens=256
)

print(response.choices[0].message.content)

支持的 API 端点：

  • /v1/chat/completions — 聊天补全
  • /v1/completions — 文本补全
  • /v1/models — 列出可用模型
  • /v1/embeddings — 向量嵌入（部分模型支持）

参数方面，大部分 OpenAI 参数都支持：

参数 是否支持 说明
temperature ✅ 控制随机性
top_p ✅ 核采样
max_tokens ✅ 最大生成长度
stream ✅ 流式输出
stop ✅ 停止词
frequency_penalty ⚠️ 部分版本支持

实战技巧：如果你想把 OpenAI 的代码迁移到 vLLM，只需要改两处：base_url 和 api_key。其他代码完全不用动。我迁移过一个生产系统，改完配置直接跑，零报错。

4.5 本章小结

这一章我们走通了 vLLM 的完整链路：从架构设计到原理理解，再到安装启动和 API 调用。PagedAttention 是它的灵魂，OpenAI 兼容接口是它的铠甲。你想想看，一个工具既解决了显存痛点，又让你不用改代码，是不是很香？

← 上一章 📖 返回目录 下一章 →