课程导入：学习目标、课程结构、vLLM吞吐优化与显存控制的关系
1.1 为什么“吞吐”与“显存”是一对天生的矛盾
在大模型推理服务中，吞吐量（Throughput）通常指单位时间内系统能够处理的请求数或生成的 Token 数。直觉上，提升吞吐最直接的办法是增大 Batch Size——让更多的请求并行推理。然而，Batch Size 的增大意味着 KV Cache、中间激活值、临时张量等显存占用的同步增长。当显存逼近硬件上限时，系统会触发 OOM（Out of Memory）或频繁的显存换入换出，导致吞吐断崖式下跌。
vLLM 的核心贡献之一，正是通过PagedAttention 显存管理机制，将传统推理引擎中“显存按最大长度预分配”的浪费模式，改造为“按需分页、动态映射”的精细控制模式。这种控制能力使得 KV Cache 的碎片化率大幅降低，从而在相同物理显存下容纳更大的 Batch Size，最终实现吞吐的成倍提升。
核心认知：吞吐优化的本质不是“无脑加大 Batch”，而是在显存约束下寻找最优的 Batch Size 与显存分配策略。显存控制是吞吐提升的“解锁钥匙”，而非单纯的资源节省手段。
1.2 本课程的学习目标
完成本课程后，你将能够从显存控制视角系统性地理解和优化 vLLM 的吞吐性能，具体包括以下四个层面的能力：
- 原理层：透彻理解 PagedAttention 的显存分页机制、KV Cache 的块管理策略，以及它们如何影响 Batch Size 的扩展边界。
- 参数层：掌握
--max-num-seqs、--max-num-batched-tokens、--gpu-memory-utilization、--block-size等关键参数对显存分配和吞吐的实际影响。 - 实践层：学会通过
vllm serve的启动参数、VLLM_*环境变量以及监控指标（如gpu_cache_usage_perc）来诊断显存瓶颈，并做出针对性调优。 - 排障层：能够定位“OOM 频繁”“吞吐波动大”“显存利用率低”等典型问题的根因，并给出可落地的解决方案。
1.3 课程结构：从原理到实战的五个模块
本课程共 30 个章节，按认知递进关系划分为五个模块。每个模块都围绕“显存控制如何影响吞吐”这一主线展开，避免堆砌孤立的技术点。
| 模块 | 章节范围 | 核心主题 | 关键收获 |
|---|---|---|---|
| 基础篇 | 第 1~6 章 | 显存分配原理、PagedAttention 机制、KV Cache 生命周期 | 建立显存控制的底层认知框架 |
| 参数调优篇 | 第 7~14 章 | Batch 策略、块大小、显存利用率、连续批处理 | 掌握吞吐相关的核心参数旋钮 |
| 监控诊断篇 | 第 15~20 章 | Prometheus 指标、日志分析、OOM 根因定位 | 学会用数据驱动显存优化 |
| 高级技巧篇 | 第 21~26 章 | Prefix Caching、多 LoRA 显存复用、量化与 KV Cache 压缩 | 突破常规配置的吞吐上限 |
| 实战复盘篇 | 第 27~30 章 | 生产环境案例、压测方法、调优决策树 | 形成可复用的调优方法论 |
1.4 一个贯穿全课程的案例场景
为了帮助你将抽象原理映射到真实问题，我们设定一个贯穿始终的案例：
生产环境背景：某团队部署 vLLM 提供 Llama-3-8B-Instruct 服务，单卡 A100-80G，目标吞吐为 2000 tokens/s。实际压测发现，当并发请求数超过 32 时，系统频繁出现 CUDA out of memory，吞吐仅维持在 800 tokens/s 左右。团队尝试增大 --max-num-seqs 反而导致更早崩溃。
这个案例将在后续章节中反复出现，我们会逐步分析其显存分配细节、KV Cache 碎片率、Batch 调度策略等问题，并最终在第 29 章给出完整的调优方案。通过这个案例，你将看到显存控制如何从“幕后约束”变为“吞吐杠杆”。
1.5 常见误区与学习建议
误区一：认为“显存优化 = 减少显存占用”。实际上，vLLM 的显存控制目标不是“省显存”，而是让每一字节显存都服务于更大的有效 Batch。有时为了提升吞吐，反而需要主动增加显存分配（如扩大 KV Cache 池）。
误区二：只关注 --gpu-memory-utilization 一个参数。该参数只是设定显存使用的“上限”，真正决定吞吐的是块分配效率、调度策略和请求长度分布之间的动态平衡。
学习建议：每学完一个章节，回到本节的案例场景，尝试用新知识解释“为什么 Batch 超过 32 会 OOM”。当你能够独立回答这个问题时，说明你已经将原理内化为分析工具。建议配合 vLLM 官方文档中的 vllm serve --help 输出，逐一核对每个参数在课程中的解释。