课程导入：学习目标、课程结构、量化在LLM推理中的重要性
1.1 为什么量化是LLM推理的“必答题”
大语言模型（LLM）在带来惊人能力的同时，也带来了严峻的部署挑战。以Llama 3 70B为例，其权重以FP16存储时占用约140GB显存，远超单张A100（80GB）的容量。即便使用H100（80GB），也需要多卡张量并行才能加载。更关键的是，推理时的显存瓶颈不仅来自权重，还来自KV Cache和激活值。当序列长度达到4096、batch size为32时，KV Cache可能额外占用数十GB显存。这种“内存墙”问题，使得量化从“可选项”变成了“必答题”。
量化（Quantization）的本质是将高精度数值（如FP16、FP32）映射到低精度表示（如INT8、INT4），从而在精度损失可控的前提下，换取显存占用降低、计算吞吐提升、带宽压力缓解三重收益。在vLLM这类高性能推理引擎中，量化算子（Quantized Operator）直接决定了端到端的性能表现——它不仅是简单的类型转换，而是涉及缩放因子计算、舍入策略、反量化时机、算子融合等一系列底层优化。
1.2 量化在LLM推理中的三重价值
量化对LLM推理的贡献可以拆解为三个维度，每个维度都对应着不同的硬件瓶颈和优化策略：
| 维度 | 量化前（FP16） | 量化后（INT8/INT4） | 收益来源 |
|---|---|---|---|
| 显存容量 | 70B模型需140GB | INT8需70GB，INT4需35GB | 权重压缩，支持更大模型或更长上下文 |
| 内存带宽 | 权重读取带宽占用高 | 带宽需求降低50%~75% | 减少HBM访问，缓解“内存墙”瓶颈 |
| 计算吞吐 | FP16矩阵乘 | INT8 Tensor Core加速（2倍~4倍） | 利用专用硬件单元，提升FLOPs |
值得注意的是，带宽收益往往比计算收益更显著。在LLM推理的decode阶段（逐token生成），模型是memory-bound的——每个token的生成只需要少量计算，但必须读取全部权重。此时，将权重从FP16压缩到INT4，理论上可以将token生成速度提升近4倍，这正是量化算子在vLLM中发挥巨大价值的核心场景。
1.3 课程结构：从算子到系统的三层递进
本课程共30章，按照“基础算子 → 量化方案 → 系统集成”三层递进设计，每一层都聚焦于可落地的工程细节：
- 第一层（第1~8章）：量化基础与算子原语。包括数值表示、缩放因子、舍入误差、对称/非对称量化、per-tensor/per-channel粒度，以及vLLM中GEMM、GEMV等核心算子的量化实现。
- 第二层（第9~20章）：主流量化方案剖析。覆盖GPTQ、AWQ、SmoothQuant、FP8、KV Cache量化等方案的原理、算子实现与精度调优，并对比不同方案在vLLM中的实际表现。
- 第三层（第21~30章）：系统级优化与实战。包括量化算子与PagedAttention的协同、多卡量化推理、量化模型的服务化部署、性能剖析工具，以及常见问题的排障手册。
每一章都遵循“原理 → 代码 → 实验 → 复盘”的闭环，确保你不仅理解“是什么”，更能动手验证“为什么”和“怎么做”。
1.4 量化算子的核心挑战：精度与性能的博弈
量化算子的设计并非简单的“取整除法”，它面临三个核心挑战：
- 误差传播控制：LLM的深层结构会放大量化误差，尤其是激活值中的离群点（outliers）。SmoothQuant等方案正是通过数学变换将离群点从激活迁移到权重，从而降低量化难度。
- 反量化开销：INT8矩阵乘后需要反量化回FP16进行累加，如果反量化算子实现低效，会抵消量化带来的加速收益。vLLM中通过算子融合（如将反量化融合进后续的Activation函数）来规避这一开销。
- 动态范围适配：不同层的权重和激活分布差异巨大，固定缩放因子会导致严重精度损失。因此需要per-channel或per-group的粒度控制，但这又增加了计算复杂度。
下图展示了vLLM中一个典型的量化GEMM算子的数据流，帮助你建立直观印象：
图中展示了vLLM中INT8量化GEMM的核心流程：激活值采用per-token量化，权重采用per-channel量化，两者分别计算缩放因子后，将FP16张量转换为INT8，送入Tensor Core执行矩阵乘，最后在输出阶段合并缩放因子完成反量化。这种设计既保证了精度（per-channel粒度），又避免了中间结果的频繁反量化。
1.5 常见误区与学习建议
误区二：只关注权重量化，忽略激活和KV Cache。在长序列推理中，KV Cache的显存占用往往超过权重。vLLM中的KV Cache量化（如FP8）可以显著提升吞吐，但需要处理动态范围问题。
误区三：盲目追求“极致低比特”。INT4虽然显存收益最大，但可能触发硬件不支持的反量化路径，导致实际延迟反而升高。需要结合硬件特性（如是否支持INT4 Tensor Core）和服务SLA综合决策。
学习建议：本课程要求你具备基础的PyTorch编程能力和线性代数知识。每章都配有可运行的代码示例，建议在A100或H100等支持INT8 Tensor Core的GPU上动手实验。对于暂时没有GPU的环境，也可以使用CPU模式运行小规模模型，重点理解算子的数据流和数值行为。
1.6 本章小结
量化是LLM推理工程化落地的核心使能技术。通过本课程，你将掌握：
- 量化算子的数学原理与硬件映射（第2~8章）；
- 主流量化方案（GPTQ、AWQ、SmoothQuant等）的算子级实现与精度调优（第9~20章）；
- 在vLLM中集成、部署和排障量化模型的完整方法论（第21~30章）。