01
vLLM初识
vLLM是什么、为什么需要vLLM、核心优势（PagedAttention、连续批处理）及与传统推理框架的对比。
概念对比
02
环境搭建
硬件要求、软件依赖、源码与pip安装方式，以及验证安装是否成功的完整流程。
安装配置
03
PagedAttention原理（上）
虚拟内存分页思想、KV Cache痛点、传统管理方式及PagedAttention如何解决显存碎片化。
核心显存
04
PagedAttention原理（下）
Block Table管理、物理与逻辑块映射、内存共享与写时复制，以及性能收益分析。
机制优化
05
连续批处理
静态批处理局限、动态调度机制、迭代级调度与请求队列管理，提升吞吐量。
调度性能
06
核心架构总览
LLMEngine、Scheduler、Worker、ModelRunner、BlockManager等组件介绍及协作流程。
架构组件
07
LLMEngine详解
初始化流程、请求处理主循环（add_request、step、abort）、异步同步模式及与API Server关系。
引擎流程
08
Scheduler调度器
调度策略（FCFS、优先级）、抢占机制、块分配策略与调度状态机详解。
调度策略
09
BlockManager与显存管理
物理块分配释放、Block Table维护、显存预留水位线及OOM处理策略。
显存管理
10
Worker与模型加载
Worker进程模型、模型分片加载（TP）、流水线并行支持及Worker间通信。
并行加载
11
ModelRunner执行引擎
前向传播流程、FlashAttention集成、Layer-by-Layer执行与CUDA Graph加速。
执行加速
12
采样与输出处理
采样策略（greedy、beam search、top-k/top-p）、logits处理器及流式返回。
采样输出
13
API Server
OpenAI兼容API实现、vllm serve启动、请求格式参数与流式非流式响应。
服务API
14
离线推理与在线推理
离线批量推理（LLM类）、在线服务（AsyncLLMEngine）、性能对比与选型建议。
推理模式
15
多GPU推理
张量并行（TP）与流水线并行（PP）原理配置、组合使用及通信开销分析。
并行多卡
16
量化推理
GPTQ、AWQ、FP8量化方法、模型加载及对推理速度与精度的影响。
量化优化
17
Prefix Caching
前缀缓存原理与适用场景、自动前缀检测、缓存命中率优化及与PagedAttention结合。
缓存加速
18
Speculative Decoding
草稿模型+目标模型原理、vLLM实现方式、性能提升效果与适用条件。
解码推测
19
LoRA适配器支持
LoRA原理回顾、加载与切换、多LoRA并发推理及性能开销分析。
微调适配
20
配置与调优
关键参数详解（max_num_seqs、gpu_memory_utilization等）、性能调优实践与瓶颈分析。
调优参数
21
监控与日志
内置统计指标（吞吐量、延迟、显存）、Prometheus集成及日志级别调试。
监控日志
22
与LangChain集成
LangChain中调用vLLM、自定义LLM包装器、流式输出集成与RAG场景实践。
集成RAG
23
与FastAPI/Flask集成
自定义API Server、请求路由设计、并发控制与健康检查端点。
Web框架
24
Docker部署
Dockerfile编写、镜像构建、容器化启动与GPU直通配置。
容器部署
25
Kubernetes部署
K8s资源定义（Pod、Service、Deployment）、自动扩缩容、GPU调度与Ingress配置。
K8s编排
26
源码导读（一）
项目结构概览、入口文件分析（vllm/entrypoints）、核心数据结构（Sequence、SequenceGroup）。
源码结构
27
源码导读（二）
Scheduler源码解析（schedule()方法）、BlockManager源码解析（allocate、free、fork）。
源码调度
28
源码导读（三）
Worker与ModelRunner源码解析、模型前向传播流程、CUDA Graph捕获与重放。
源码执行
29
性能基准测试
测试方法论（吞吐量、首Token延迟、Token间延迟）、Benchmark工具使用与结果解读。
测试基准
30
实战项目
构建高并发聊天机器人、多模型路由、性能压测优化与生产环境部署最佳实践。
实战项目