1. 课程导入

1.1 为什么需要关注 vLLM 与量化部署

大语言模型（LLM）的推理部署正面临一个核心矛盾：模型能力越强，参数量越大，推理所需的显存与算力也越高。以 70B 参数模型为例，仅权重就需要约 140GB 显存（FP16），远超单张 A100/H100 的 80GB 容量。即便使用多卡张量并行，KV Cache 随并发请求数线性增长，又会迅速挤占剩余显存，导致吞吐量骤降、首 token 延迟升高。

vLLM 通过 PagedAttention 机制将 KV Cache 分页管理，显著提升了显存利用率；而量化技术则从“权重数值精度”入手，将 FP16 压缩为 INT8、INT4 甚至更低精度，直接削减权重与激活值的显存占用。两者结合，是当前生产环境中以有限 GPU 资源支撑高并发推理的主流路径。

核心结论：vLLM 解决“显存碎片化与 KV Cache 管理”问题，量化解决“权重与激活值体积”问题。二者叠加，可在相同硬件上获得 2～4 倍吞吐提升。
vLLM + 量化部署：显存与吞吐优化路径 原始 FP16 部署痛点 • 70B 权重 ≈ 140GB 显存 • KV Cache 随并发线性膨胀 • 显存碎片化严重 • 吞吐量受限，延迟波动大 vLLM 核心机制 PagedAttention KV Cache 分页管理 Continuous Batching 请求级动态调度 量化压缩维度 权重 INT8 / INT4 显存降至 1/2 ~ 1/4 激活值量化 减少访存带宽压力 显存压力 仍需压缩 vLLM + 量化 协同收益 吞吐量 提升 2~4 倍 相同 GPU 下更高并发 显存占用 降低 50%~75% 支持更大批次 / 更长上下文 部署成本 GPU 数量减少 单机多卡即可服务大模型

1.2 课程学习目标

完成本课程后，你将能够独立完成从模型量化到 vLLM 部署上线的完整链路。具体目标分为以下四个层级：

目标层级 能力描述 对应章节
理解 掌握量化原理（PTQ/QAT、对称/非对称、per-tensor/per-channel）与 vLLM 的 PagedAttention 工作机制 第 2~5 章
实操 使用 GPTQ、AWQ、FP8 等算法完成模型量化，并导出 vLLM 可加载的格式 第 6~12 章
调优 配置 vLLM 的量化参数、KV Cache 策略、调度器参数，平衡延迟与吞吐 第 13~20 章
实战 完成多模型、多场景的部署压测，输出性能报告与容量规划方案 第 21~30 章

1.3 课程结构总览

本课程共 30 章，按“原理 → 工具 → 实战 → 调优”四阶段递进。前 5 章夯实理论基础，第 6~12 章聚焦量化算法与工具链，第 13~20 章深入 vLLM 部署配置与性能调优，最后 10 章通过多个真实场景案例（如 Llama-3-70B、Qwen2.5-72B、多轮对话服务、长文档摘要等）带你完成端到端实战。

学习建议：每章均配有可运行的代码示例与配置清单。建议在具备至少 1 张 24GB 显存 GPU（如 RTX 3090/4090、A10）的环境中动手实践。若资源有限，可使用 API 或云端 GPU 实例。

1.4 vLLM 核心价值：PagedAttention 与 Continuous Batching

vLLM 之所以成为当前最流行的 LLM 推理框架，核心在于两项技术创新：

  • PagedAttention（分页注意力）：借鉴操作系统虚拟内存的分页思想，将 KV Cache 划分为固定大小的块（block），按需分配，消除显存碎片。传统推理框架需预先为请求分配最大可能长度的 KV Cache，导致大量浪费；vLLM 则只分配实际使用的块，显存利用率可提升至 90% 以上。
  • Continuous Batching（连续批处理）：传统静态批处理需等待批次内所有序列生成完毕才释放资源；vLLM 在 token 级别动态调度，某序列生成结束后立即插入新请求，GPU 始终处于满负荷计算状态。

这两项机制使 vLLM 在同等硬件下，吞吐量可达 HuggingFace Transformers 的 10~20 倍。但请注意：vLLM 并未减少权重显存占用，当模型规模超过单卡显存时，仍需依赖量化技术。

1.5 量化部署的价值：从“跑不动”到“跑得省”

量化是将模型权重从高精度（FP16/BF16）映射到低精度（INT8/INT4/FP8）的过程。以 INT4 量化为例，权重显存直接降至原来的 1/4。以一个 70B 模型为例：

FP16 权重显存：70 × 10⁹ × 2 字节 ≈ 140 GB
INT4 权重显存：70 × 10⁹ × 0.5 字节 ≈ 35 GB
节省显存：约 105 GB（可多容纳约 3 倍 KV Cache）

量化部署的价值不仅在于“能跑”，更在于“跑得更经济”：

  1. 单卡部署大模型：70B 模型 INT4 量化后可在 48GB 显存的 GPU（如 A6000）上运行，无需多卡张量并行，降低硬件门槛。
  2. 提高并发吞吐：省下的显存可用于更大的 batch size 或更长的上下文长度，直接提升每秒请求数（RPS）。
  3. 降低延迟：更小的权重体积意味着更少的显存带宽占用，而 LLM 推理是典型的 memory-bound 场景，权重读取量减少可显著降低每个 token 的生成延迟。
  4. 降低总拥有成本：用更少的 GPU 服务相同的流量，减少硬件采购、电力与运维成本。

1.6 常见误区与学习路径提醒

误区一：量化一定会大幅降低模型精度。
实际上，现代量化算法（如 GPTQ、AWQ）通过校准集和误差补偿，可将 4bit 量化的精度损失控制在 1% 以内（以 MMLU 等基准衡量）。关键在于选择正确的量化方法和校准数据。
误区二：vLLM 自带量化功能，无需额外处理。
vLLM 支持加载 GPTQ/AWQ/FP8 等量化模型，但量化过程本身需使用外部工具（如 AutoGPTQ、llm-awq、TensorRT-LLM）完成。vLLM 是推理引擎，不是量化工具。
误区三：量化后吞吐一定提升。
量化主要降低显存占用与带宽压力，但若 batch size 未增大或硬件带宽未充分利用，吞吐可能不变甚至略降（因反量化开销）。需结合 vLLM 的调度参数一并调优。
← 上一章 📖 返回目录 下一章 →