课程导入：学习目标、课程结构、vLLM吞吐性能的重要性
为什么吞吐性能是vLLM生产落地的生死线
大模型推理服务从实验走向生产，最核心的转变是从“能跑”变为“跑得经济、跑得稳定”。vLLM凭借PagedAttention、Continuous Batching等创新机制，成为当前业界部署LLM服务的主流框架之一。然而，许多团队在将vLLM接入生产环境后，很快发现一个尴尬的现实：模型在离线评测中表现优异，在线服务时吞吐却远低于预期，GPU利用率忽高忽低，延迟毛刺频发，甚至出现显存溢出（OOM）导致服务重启。
吞吐性能（Throughput）直接决定了单位时间能处理的请求数量，进而决定了单卡能承载的业务量。在GPU成本高昂的今天，吞吐每提升30%，意味着同等算力下可多服务30%的用户，或可节省相应比例的硬件采购。vLLM虽然内置了高效的调度器，但吞吐并非“开箱即得”——它受到模型结构、显存配置、调度参数、输入输出长度分布、并发模式、量化策略等多重因素共同影响。任何一个环节配置不当，都可能让vLLM的先进机制无法充分发挥。
核心认知：vLLM的吞吐瓶颈不是单一原因造成的，而是“显存管理—调度策略—计算效率—I/O路径”四层因素叠加的结果。诊断吞吐问题，必须建立系统化的分析框架，而非盲目调整某个参数。
学习目标：从“会用”到“会调优”
本课程不满足于教会你启动一个vLLM服务，而是帮助你建立一套可复用的吞吐诊断与调优方法论。完成本课程后，你将能够：
- 定位瓶颈层级：区分吞吐受限是来自显存容量（显存不足导致换入换出）、调度效率（等待队列过长或批大小不合理）、计算单元（GPU算力饱和）还是数据加载路径（预处理/Token化/网络传输）。
- 掌握关键监控指标：读懂vLLM日志中的吞吐量（requests/s）、每请求平均延迟、TTFT（首Token延迟）、TPOT（每Token延迟）、GPU显存利用率、KV Cache命中率等指标，并能通过指标组合判断瓶颈类型。
- 熟练调整核心参数：包括
--max-num-seqs、--max-num-batched-tokens、--gpu-memory-utilization、--block-size、--enable-chunked-prefill、--max-model-len等，理解每个参数背后的权衡关系。 - 掌握典型场景调优策略：针对长文本生成、高并发短请求、混合负载（长+短请求交错）等不同业务模式，给出差异化的配置方案。
- 建立排障思维：当吞吐骤降或出现OOM时，能按逻辑顺序排查，而非随机试参数。
课程结构：四阶段递进式学习路径
本课程共30章，分为四个递进阶段，每阶段解决一类核心问题。下图展示了课程的整体逻辑架构：
课程结构设计遵循“先诊断、后调优、再验证”的工程逻辑。阶段一帮助你建立vLLM吞吐性能的全局视野，学会用数据说话；阶段二深入每个可调参数，理解其背后的原理与权衡；阶段三将参数组合应用到典型业务场景中，形成场景化配置模板；阶段四则聚焦于故障复盘与长期性能治理，帮助你沉淀团队内部的调优知识库。
vLLM吞吐性能的关键影响因素
在正式进入各章节之前，我们先从宏观层面梳理影响vLLM吞吐的几大核心因素。这些因素将在后续章节中逐一展开：
| 影响因素 | 所属层级 | 典型瓶颈表现 | 对应课程章节 |
|---|---|---|---|
| KV Cache显存分配 | 显存管理 | 显存利用率低，实际批大小远小于配置上限 | 第4、9章 |
| Block大小与PagedAttention | 显存管理 | Block碎片化严重，KV Cache命中率低 | 第3、10章 |
| 最大批大小（max-num-seqs） | 调度策略 | 并发升高时吞吐不增反降，延迟急剧上升 | 第11章 |
| Prefill与Decode阶段竞争 | 调度策略 | 长Prompt请求阻塞短请求，TTFT波动大 | 第12、20章 |
| 模型参数量与计算强度 | 计算效率 | GPU算力利用率低，MFU不达标 | 第6、14章 |
| 量化与精度 | 计算效率 | 显存占用高但算力未饱和，或量化后精度损失 | 第15章 |
| 输入输出长度分布 | 业务特征 | 平均吞吐正常但P99延迟极高，长尾效应明显 | 第19、21章 |
| 预处理与Token化路径 | I/O路径 | CPU与GPU之间数据搬运成为瓶颈 | 第7章 |
常见误区与正确认知
误区一：盲目调大max-num-seqs就能提升吞吐。实际上，当显存不足以支撑相应数量的KV Cache时，vLLM会触发显存交换或请求排队，反而增加延迟、降低有效吞吐。正确的做法是先监控实际显存余量，再逐步增大批大小并观察吞吐曲线拐点。
误区二：只关注吞吐均值，忽略延迟分布。在线服务场景中，P99延迟往往比平均吞吐更能反映用户体验。一个高吞吐但P99延迟严重恶化的系统，在生产中是不可接受的。调优必须在吞吐与延迟之间找到业务可接受的平衡点。
正确认知：vLLM吞吐调优是一个“显存—计算—调度”三角平衡的过程。显存决定能同时处理多少请求，计算决定处理速度，调度决定如何高效地利用前两者。任何单一维度的极致优化都可能破坏整体平衡。本课程将帮助你建立这种系统化思维。