课程导入：学习目标、核心概念、整体框架

欢迎来到《vLLM批处理参数调优实战手册》。在正式接触具体参数之前，我们先用一章的时间，把整门课程的学习目标、核心概念和整体框架梳理清楚。这一章是整个课程的“地图”——只有先看清地图，后续的每一步调优才不会迷失方向。

1.1 学习目标：你将获得什么能力

本课程不是泛泛介绍 vLLM 的功能列表，而是聚焦于批处理（Batching）场景下的参数调优。学完本课程，你将具备以下四项核心能力：

• 能读懂 vLLM 的批处理运行机制：理解 Continuous Batching（连续批处理）与静态批处理的本质差异，知道请求在 GPU 上如何被组织、调度和回收。
• 能根据业务场景选择正确的参数组合：面对高并发在线服务、离线批量推理、长文本生成等不同负载，能独立判断应该调整 --max-num-seqs、--max-num-batched-tokens、--gpu-memory-utilization 等参数中的哪几个，以及调整的方向。
• 能通过监控指标定位性能瓶颈：熟练使用 /metrics 端点、nvidia-smi 和 vLLM 日志，区分“吞吐量瓶颈”“显存瓶颈”“排队瓶颈”和“调度瓶颈”，并针对性地做出参数调整。
• 能规避常见的调优陷阱：理解“参数越大越好”为何是误区，知道 KV Cache 与批大小之间的权衡关系，避免因盲目调参导致显存溢出（OOM）或延迟剧烈抖动。

1.2 核心概念：批处理参数的作用对象

vLLM 的批处理参数并非孤立存在，它们共同作用于一条完整的推理流水线。为了后续章节讨论方便，这里先明确四个最核心的概念对象：

这四个对象之间的关系，可以用下面这张图来直观理解。它展示了 vLLM 在连续批处理中，如何将多个不同进度的序列动态组合成一个“批”进行 GPU 前向计算：

这张图揭示了 vLLM 批处理调优的本质：调度器在“请求队列”和“GPU 显存”之间寻找最佳平衡点。批大小太小，GPU 算力闲置；批大小太大，显存溢出或延迟超标。后续所有参数调整，都是在围绕这个平衡点做文章。

1.3 整体框架：课程内容如何组织

本课程共 30 章，按照“原理 → 参数 → 场景 → 排障 → 实战”的逻辑递进。你可以将整个课程划分为五个阶段：

1. 基础原理篇（第 1-5 章）：讲解 vLLM 的批处理架构、KV Cache 机制、调度策略和显存管理。这是理解一切参数的前提。
2. 核心参数篇（第 6-15 章）：逐一深入剖析 --max-num-seqs、--max-num-batched-tokens、--gpu-memory-utilization、--max-model-len、--block-size 等关键参数的作用原理与调优方法。
3. 场景实战篇（第 16-22 章）：针对在线高并发、离线批量处理、长文本生成、多 LoRA 推理等典型场景，给出完整的参数配置方案。
4. 监控排障篇（第 23-27 章）：讲解如何通过 Prometheus 指标、vLLM 日志和 GPU 工具定位性能瓶颈，并解决 OOM、吞吐量骤降、延迟长尾等问题。
5. 进阶调优篇（第 28-30 章）：覆盖量化模型批处理、多卡张量并行下的批参数协同、以及基于自动调参工具的经验总结。

1.4 常见误区与学习心态

在开始调优之前，先帮你建立正确的“调优观”。根据我们观察到的学员经验，以下三个误区最容易导致调优失败：

• 误区一：盲目追求“最大批处理”。很多人认为 --max-num-seqs 设得越大越好。实际上，当批大小超过一定阈值后，每个序列的生成延迟会显著上升，因为 GPU 需要处理的总 token 数变多，单个请求的计算时间被拉长。在线服务场景下，这会导致用户体验急剧下降。
• 误区二：忽略 KV Cache 的显存占用。批处理参数调优不仅仅是“算力”问题，更是“显存”问题。每增加一个序列，KV Cache 就会占用新的显存。如果只调大批大小而不预留足够的 KV Cache 空间，系统会频繁触发显存交换甚至 OOM。
• 误区三：用静态批处理的思维理解 vLLM。传统静态批处理要求所有请求同时开始、同时结束。而 vLLM 的 Continuous Batching 允许序列动态加入和离开。因此，“批大小”不是一个固定值，而是每个调度步骤动态变化的。理解这一点，你才能真正读懂监控指标中的 avg_batch_size 和 max_batch_size 之间的差异。