课程导入：学习目标、课程结构、vLLM简介与量化部署的价值

1.1 为什么需要关注 vLLM 与量化部署

大语言模型（LLM）的推理部署正面临一个核心矛盾：模型能力越强，参数量越大，推理所需的显存与算力也越高。以 70B 参数模型为例，仅权重就需要约 140GB 显存（FP16），远超单张 A100/H100 的 80GB 容量。即便使用多卡张量并行，KV Cache 随并发请求数线性增长，又会迅速挤占剩余显存，导致吞吐量骤降、首 token 延迟升高。

vLLM 通过 PagedAttention 机制将 KV Cache 分页管理，显著提升了显存利用率；而量化技术则从“权重数值精度”入手，将 FP16 压缩为 INT8、INT4 甚至更低精度，直接削减权重与激活值的显存占用。两者结合，是当前生产环境中以有限 GPU 资源支撑高并发推理的主流路径。

1.2 课程学习目标

完成本课程后，你将能够独立完成从模型量化到 vLLM 部署上线的完整链路。具体目标分为以下四个层级：

1.3 课程结构总览

本课程共 30 章，按“原理 → 工具 → 实战 → 调优”四阶段递进。前 5 章夯实理论基础，第 6~12 章聚焦量化算法与工具链，第 13~20 章深入 vLLM 部署配置与性能调优，最后 10 章通过多个真实场景案例（如 Llama-3-70B、Qwen2.5-72B、多轮对话服务、长文档摘要等）带你完成端到端实战。

1.4 vLLM 核心价值：PagedAttention 与 Continuous Batching

vLLM 之所以成为当前最流行的 LLM 推理框架，核心在于两项技术创新：

• PagedAttention（分页注意力）：借鉴操作系统虚拟内存的分页思想，将 KV Cache 划分为固定大小的块（block），按需分配，消除显存碎片。传统推理框架需预先为请求分配最大可能长度的 KV Cache，导致大量浪费；vLLM 则只分配实际使用的块，显存利用率可提升至 90% 以上。
• Continuous Batching（连续批处理）：传统静态批处理需等待批次内所有序列生成完毕才释放资源；vLLM 在 token 级别动态调度，某序列生成结束后立即插入新请求，GPU 始终处于满负荷计算状态。

这两项机制使 vLLM 在同等硬件下，吞吐量可达 HuggingFace Transformers 的 10~20 倍。但请注意：vLLM 并未减少权重显存占用，当模型规模超过单卡显存时，仍需依赖量化技术。

1.5 量化部署的价值：从“跑不动”到“跑得省”

量化是将模型权重从高精度（FP16/BF16）映射到低精度（INT8/INT4/FP8）的过程。以 INT4 量化为例，权重显存直接降至原来的 1/4。以一个 70B 模型为例：

FP16 权重显存：70 × 10⁹ × 2 字节 ≈ 140 GB
INT4 权重显存：70 × 10⁹ × 0.5 字节 ≈ 35 GB
节省显存：约 105 GB（可多容纳约 3 倍 KV Cache）

量化部署的价值不仅在于“能跑”，更在于“跑得更经济”：

1. 单卡部署大模型：70B 模型 INT4 量化后可在 48GB 显存的 GPU（如 A6000）上运行，无需多卡张量并行，降低硬件门槛。
2. 提高并发吞吐：省下的显存可用于更大的 batch size 或更长的上下文长度，直接提升每秒请求数（RPS）。
3. 降低延迟：更小的权重体积意味着更少的显存带宽占用，而 LLM 推理是典型的 memory-bound 场景，权重读取量减少可显著降低每个 token 的生成延迟。
4. 降低总拥有成本：用更少的 GPU 服务相同的流量，减少硬件采购、电力与运维成本。

1.6 常见误区与学习路径提醒