背景与动机：Transformer模型中的注意力机制及其内存瓶颈
2.1 从RNN到Transformer：注意力机制的诞生
在Transformer架构出现之前，序列建模主要依赖循环神经网络（RNN）及其变体（LSTM、GRU）。RNN按时间步顺序处理输入，每一步的隐状态 h_t 依赖于前一步的 h_{t-1}，这种串行结构带来了两个根本性缺陷：无法并行化（训练速度受限于序列长度）和长距离依赖丢失（梯度消失导致早期信息难以传递到后期）。
2017年，Vaswani等人提出Transformer，彻底抛弃循环结构，引入自注意力机制（Self-Attention）。自注意力的核心思想是：序列中任意两个位置之间可以直接建立关联，关联强度由查询（Query）、键（Key）、值（Value）三元组的点积计算得出。这一设计使得所有位置可以同时计算，训练并行度大幅提升，同时理论上任意距离的依赖都能被直接建模。
自注意力的计算过程可概括为以下步骤：
- 将输入序列
X ∈ R^{n×d}分别乘以权重矩阵W_Q、W_K、W_V，得到 Q、K、V 三个矩阵； - 计算注意力分数矩阵
S = QK^T / √d_k，其中d_k为键向量的维度； - 对 S 的每一行做 Softmax 归一化，得到注意力权重矩阵 A；
- 输出
O = A × V，即对值向量按注意力权重加权求和。
核心公式：
Attention(Q, K, V) = softmax(QK^T / √d_k) × V其中 Q、K、V 的维度均为 n×d_k，n 为序列长度。该公式在多头注意力中会被并行执行 h 次，最后拼接并线性变换。
2.2 内存瓶颈：KV Cache的诞生与膨胀
Transformer在推理阶段（自回归生成）面临一个严峻的内存问题。以GPT系列模型为例，生成第 t 个token时，需要计算该token与之前所有token的注意力。如果每次生成都重新计算所有历史token的K和V矩阵，计算量将随序列长度呈平方级增长，完全不可接受。
因此，业界引入了KV Cache（键值缓存）机制：在推理过程中，将已生成token的K矩阵和V矩阵缓存在GPU显存中，后续生成新token时只需计算新token的Q、K、V，然后与缓存的K、V拼接进行注意力计算。这样避免了重复计算，但代价是显存占用随序列长度线性增长。
KV Cache的内存占用公式为：
内存占用 = 2（K和V） × 层数 × 序列长度 × 注意力头数 × 头维度 × 每个元素字节数以LLaMA-7B模型为例，假设配置如下：
| 参数 | 数值 |
|---|---|
| 层数 | 32 |
| 注意力头数 | 32 |
| 头维度 | 128 |
| 精度 | FP16（2字节） |
当序列长度为2048时，KV Cache占用约为：
2 × 32 × 2048 × 32 × 128 × 2 = 1,073,741,824 字节 ≈ 1GB当序列长度扩展到8192时，KV Cache占用飙升至约4GB，这已经接近单张消费级GPU（如RTX 3090 24GB）的六分之一。更严重的是，KV Cache是动态增长的——每生成一个token，缓存就增加一层数据，且无法预知最终长度，导致显存管理变得复杂且容易溢出。
2.3 内存瓶颈带来的连锁问题
KV Cache的线性增长并非孤立问题，它会在实际部署中引发一系列连锁反应：
- 最大序列长度受限：GPU显存是硬约束，KV Cache占用过大时，模型不得不提前终止生成，导致输出截断或质量下降。
- 批处理规模受限：在线服务通常需要同时处理多个请求（batch），每个请求都有独立的KV Cache。显存总量固定时，KV Cache越大，能并行处理的请求数越少，直接降低吞吐量。
- 内存碎片化：KV Cache随生成动态增长，不同请求的长度不同，导致显存中出现大量不连续的空闲块，进一步降低有效利用率。
- 长序列场景不可用：对于多轮对话、长文档摘要、代码生成等需要数万token的场景，传统KV Cache方案几乎无法在单卡上运行。
常见误区：很多人认为KV Cache只影响推理速度，不影响模型质量。实际上，当KV Cache导致序列长度被迫截断时，模型会丢失上下文信息，生成内容的连贯性和准确性都会显著下降。例如，在长文档问答中，如果模型只能看到前4096个token，那么文档后半部分的信息将完全不可见。
2.4 现有优化方案的不足
针对KV Cache的内存问题，学术界和工业界提出了多种优化思路，但都存在各自的局限：
| 优化方向 | 代表方法 | 核心思想 | 局限性 |
|---|---|---|---|
| 量化压缩 | INT8/INT4量化 | 降低KV Cache中每个元素的字节数 | 精度损失，且压缩比有限（最多4倍） |
| 稀疏化 | Top-k稀疏注意力 | 只保留注意力权重最高的k个KV对 | 需要额外计算注意力权重，且可能丢失关键信息 |
| 滑动窗口 | Sliding Window Attention | 只关注最近w个token的KV | 长距离依赖能力被削弱 |
| 内存复用 | PagedAttention的前身 | 将KV Cache分块并动态分配 | 块大小固定，内部碎片仍然存在 |
这些方法要么牺牲模型质量，要么优化幅度有限，无法从根本上解决KV Cache动态增长与显存静态分配之间的矛盾。正是这一瓶颈，催生了PagedAttention——一种借鉴操作系统虚拟内存分页思想的KV Cache管理方案。
2.5 案例复盘：一个真实的长序列推理场景
假设你正在部署一个基于LLaMA-13B的聊天机器人，模型配置为40层、40头、头维度128，FP16精度。单条对话的KV Cache占用为：
2 × 40 × 序列长度 × 40 × 128 × 2 = 819,200 × 序列长度（字节）当序列长度达到8192时，单条对话的KV Cache占用约6.4GB。如果使用A100 40GB显卡，扣除模型权重（约26GB）后，剩余可用显存约14GB，理论上只能容纳2条并发对话。而实际部署中还需预留计算中间变量和激活值空间，实际并发数可能只有1。
更糟糕的是，如果两条对话的长度差异很大（一条2000 token，一条8000 token），传统的内存预分配方式会按照最大可能长度预留空间，导致大量显存被浪费。PagedAttention正是针对这一痛点，通过按需分页、非连续存储的方式，将KV Cache的显存利用率提升到接近90%以上，同时支持更灵活的批处理和更长的序列长度。
总结而言，Transformer的注意力机制虽然带来了革命性的建模能力，但其推理阶段的KV Cache内存瓶颈已成为制约大模型实际应用的关键障碍。理解这一瓶颈的根源和表现，是掌握PagedAttention设计思想的前提。