大模型推理基础：Transformer架构、KV Cache、自回归生成与性能瓶颈

在深入vLLM的量化与推理优化之前，必须先建立对大模型推理底层机制的清晰认知。大模型（如GPT、LLaMA、Qwen等）的推理过程并非一次前向计算即可完成，而是由Transformer解码器架构、自回归生成策略、KV Cache缓存机制三者协同运作的结果。理解这三者的原理与相互制约关系，是分析推理性能瓶颈、制定量化与调度策略的前提。本章将系统拆解推理链路的核心环节，并给出性能瓶颈的定位方法。

3.1 Transformer解码器架构：推理的核心计算单元

核心原理

现代大语言模型几乎全部采用仅解码器（Decoder-only）的Transformer架构。与编码器-解码器结构不同，Decoder-only模型在推理时直接对输入序列进行自回归建模。其核心组件包括：

• 多头自注意力（Multi-Head Attention）：计算Token之间的依赖关系，是KV Cache产生与使用的核心模块。
• 前馈网络（FFN）：逐位置的非线性变换，通常包含两个线性层和激活函数，参数量占模型总参数的2/3左右。
• 层归一化（LayerNorm/RMSNorm）：稳定训练与推理过程，现代模型多采用RMSNorm以降低计算开销。
• 位置编码（RoPE等）：注入Token位置信息，旋转位置编码（RoPE）是当前主流方案。

在推理过程中，每个Transformer层执行以下计算流程：

输入: x (当前Token的隐藏状态)
1. 通过QKV投影矩阵计算 query, key, value
2. 将新的 key, value 追加到 KV Cache
3. 使用 query 与 KV Cache 中所有 key 计算注意力分数
4. 注意力分数与 value 加权求和得到上下文向量
5. 经过输出投影、残差连接与层归一化
6. 进入FFN: 线性变换 → 激活函数 → 线性变换
7. 残差连接与层归一化，输出当前层的隐藏状态

判断方法：识别计算与访存特征

不同阶段的计算特征截然不同，这直接决定了优化策略的选择：

3.2 KV Cache：推理加速的关键与显存消耗的根源

核心原理

KV Cache的本质是用显存换算力。在自回归生成中，每个新Token的注意力计算都需要与之前所有Token的Key和Value进行交互。如果不缓存这些中间结果，每生成一个Token都需要重新计算全部历史Token的K/V值，计算量将随序列长度呈平方级增长。

KV Cache的存储结构为：

形状: [2, num_layers, num_heads, seq_len, head_dim]
- 2: 分别存储Key和Value
- num_layers: 模型层数（如LLaMA-7B为32层）
- num_heads: 注意力头数（如32头）
- seq_len: 当前序列长度（动态增长）
- head_dim: 每个头的维度（如128维）

显存占用公式（FP16）:
KV_Cache_Size = 2 × L × N × H × seq_len × 2字节
以LLaMA-7B为例，seq_len=2048时:
= 2 × 32 × 32 × 128 × 2048 × 2 ≈ 1GB

操作流程：KV Cache的生命周期

1. 初始化：在Prefill阶段，模型并行处理所有输入Token，计算并存储第一组K/V值。
2. 追加：每生成一个新Token，计算其K/V值并追加到缓存末尾。
3. 读取：Decode阶段，注意力计算需要读取缓存中全部K/V值。
4. 释放：序列生成完毕（遇到EOS或达到最大长度），释放该序列占用的缓存空间。

案例拆解：KV Cache显存增长实测

以LLaMA-13B模型（40层，40头，头维度128）为例，在FP16精度下：

3.3 自回归生成：逐Token的串行解码

核心原理

自回归生成（Autoregressive Generation）是Decoder-only模型的基本解码方式。其核心思想是：每个新Token的生成都依赖于之前生成的所有Token。数学表达为：

P(x₁, x₂, ..., xₜ) = Πᵢ₌₁ᵗ P(xᵢ | x₁, x₂, ..., xᵢ₋₁)

生成过程:
1. 输入Prompt，Prefill阶段并行计算所有Token的隐藏状态
2. 取最后一个Token的隐藏状态，通过LM Head映射为词表概率分布
3. 根据采样策略（贪心、Top-k、Top-p等）选择下一个Token
4. 将新Token作为输入，进入Decode阶段
5. 重复步骤2-4，直到生成EOS或达到最大长度

判断方法：理解延迟构成

自回归生成的延迟由两部分构成：

• Prefill延迟：处理输入Prompt的时间，与Prompt长度成正比，属于计算密集型。
• Decode延迟：逐Token生成的时间，每个Token的生成延迟近似恒定（因为每次只处理1个Token），但总延迟与生成长度成正比。

实际测量中，一个典型场景：输入512 Token，输出256 Token，在A100 GPU上运行LLaMA-7B：

Prefill时间: ~50ms（计算密集，GPU利用率高）
Decode时间: ~25ms/Token × 256 = 6400ms（访存密集，GPU利用率低）
总延迟: ~6.45秒
Decode占总延迟的99%以上

3.4 推理性能瓶颈综合分析

核心原理：三类瓶颈的耦合关系

大模型推理的性能瓶颈并非单一因素，而是显存容量、访存带宽、调度效率三者相互制约的结果。理解这种耦合关系是设计优化方案的基础。

操作流程：性能瓶颈定位方法

1. 使用nvidia-smi监控显存占用：若显存占用接近上限且出现OOM，则属于容量瓶颈。
2. 使用Nsight Compute或nsys分析GPU利用率：若SM利用率低于30%且显存带宽利用率高于80%，则属于访存瓶颈。
3. 观察请求队列长度与平均等待时间：若请求排队严重而GPU利用率不高，则属于调度瓶颈。
4. 对比Prefill与Decode耗时：若Decode耗时占比超过90%，则优化重点应放在Decode阶段。

案例拆解：量化前后的性能对比

以LLaMA-7B在A10G（24GB显存）上运行，输入512 Token，输出1024 Token，并发8个请求：

复盘分析：量化带来的性能提升主要来自三个方面：一是显存占用降低使得批处理规模可以扩大；二是每次读取的KV Cache和权重数据量减少，缓解了访存带宽压力；三是显存余量增加后，调度器可以更灵活地安排请求，减少排队等待。

3.5 总结与复盘

本章的核心逻辑可以概括为一条链路：Transformer架构决定了计算模式 → 自回归生成决定了串行解码 → KV Cache缓解了重复计算但引入了显存压力 → 三者共同导致了访存密集与显存容量两大瓶颈。vLLM的量化方案正是针对这一链路中的关键节点进行优化：通过降低KV Cache和权重的数值精度，同时缓解显存容量与访存带宽压力，最终实现更高的吞吐量和更低的延迟。