2、序列建模基础：RNN、LSTM、GRU的原理与局限，长距离依赖问题，引出注意力机制的必要性

在深入理解Transformer架构之前，我们必须先回答一个根本性问题：为什么传统的序列建模方法——循环神经网络（RNN）及其变体——在处理长序列时显得力不从心？这一章节将系统梳理RNN、LSTM、GRU的核心原理、数学表达与工程局限，并通过梯度传播的视角剖析“长距离依赖问题”的本质。只有彻底理解了旧范式的瓶颈，才能真正领会注意力机制为何能成为现代大模型（如、BERT）的基石。

序列建模演进：从RNN到注意力机制 RNN h_t = tanh(W·[h_{t-1}, x_t]) LSTM 门控机制 + 细胞状态 C_t GRU 更新门 + 重置门（简化版） 注意力机制 全局权重分配，无递归 核心痛点：梯度消失/爆炸 → 长距离依赖失效 t-n 时刻的信息难以传递到 t 时刻 长距离依赖问题示意 x₁ x₂ x₃ … xₜ 信息传递路径 关键信息在此衰减 注意力机制的核心思想：直接计算任意两个位置之间的依赖权重 Attention(Q,K,V) = softmax(QKᵀ/√d_k)·V 无需递归，一步到位，路径长度 = 1

2.1 循环神经网络（RNN）的核心原理与数学表达

RNN的设计初衷是处理变长序列数据。与全连接网络不同，RNN在时间步上共享参数，通过隐藏状态（hidden state）h_t 来“记忆”过去的信息。其基本更新公式为：

h_t = tanh(W_hh · h_{t-1} + W_xh · x_t + b_h)
y_t = W_hy · h_t + b_y

其中 W_hh 是隐藏层到隐藏层的权重矩阵，W_xh 是输入到隐藏层的权重，tanh 作为非线性激活函数。从结构上看，RNN在每个时间步执行相同的操作，这使其参数数量远小于同等深度的前馈网络。然而，这种递归结构也埋下了隐患：当序列长度超过20-30个时间步时，梯度信号在反向传播过程中会经历多次矩阵乘法，导致梯度指数级衰减（或爆炸）。

工程直觉：可以把RNN想象成一条传送带，每个时间步的隐藏状态是传送带上的包裹。包裹在传送带上每移动一站，都会被“重新打包”一次（乘以权重矩阵并经过tanh）。如果权重矩阵的谱半径小于1，包裹里的信息就会越变越“轻”（梯度消失）；如果大于1，信息就会“爆炸”（梯度爆炸）。无论哪种情况，传送到序列末端的包裹内容都已经严重失真。

2.2 LSTM与GRU：门控机制如何缓解（但未解决）长距离依赖

长短期记忆网络（LSTM）通过引入三个门控——遗忘门、输入门、输出门——以及一条独立的细胞状态（cell state）通道，让信息可以在不经过非线性变换的情况下直接传递。其核心公式如下：

f_t = σ(W_f · [h_{t-1}, x_t] + b_f)   // 遗忘门
i_t = σ(W_i · [h_{t-1}, x_t] + b_i)   // 输入门
o_t = σ(W_o · [h_{t-1}, x_t] + b_o)   // 输出门
c̃_t = tanh(W_c · [h_{t-1}, x_t] + b_c) // 候选细胞状态
c_t = f_t ⊙ c_{t-1} + i_t ⊙ c̃_t       // 更新细胞状态
h_t = o_t ⊙ tanh(c_t)

门控机制使得LSTM在理论上可以学习“何时记住、何时遗忘”，从而将有效记忆长度扩展到100个时间步左右。GRU则进一步简化，将遗忘门和输入门合并为更新门，并引入重置门，参数更少、训练更快。但无论是LSTM还是GRU，它们仍然受限于两个根本问题：

  • 顺序计算的不可并行性：每个时间步必须等待前一步的隐藏状态计算完成，导致GPU利用率极低。
  • 信息瓶颈：隐藏状态的维度是固定的（如256或512维），当需要记忆的信息量超过容量时，新信息会覆盖旧信息。
模型 参数量（近似） 有效记忆长度 并行能力 训练速度（同硬件）
RNN 最少 ~10步 无 基准
LSTM 4×RNN ~100步 无 0.5×RNN
GRU 3×RNN ~80步 无 0.7×RNN
Transformer 可扩展 理论无限（受限于位置编码） 完全并行 10-100×RNN（利用并行）

2.3 长距离依赖问题的本质：梯度路径与信息衰减

要彻底理解长距离依赖问题，我们需要从反向传播的数学过程入手。假设损失函数 L 对 h_t 的梯度为 ∂L/∂h_t，那么它对 h_{t-k} 的梯度可以展开为：

∂L/∂h_{t-k} = ∂L/∂h_t · ∏_{j=1}^{k} (∂h_{t-j+1}/∂h_{t-j})

其中连乘项 ∏(∂h_{t-j+1}/∂h_{t-j}) 是问题的关键。由于每个 ∂h_{t-j+1}/∂h_{t-j} 都包含权重矩阵 W_hh 的转置和 tanh'（其导数最大为1），当 k 增大时，连乘结果要么趋近于0（梯度消失），要么趋近于无穷（梯度爆炸）。LSTM通过细胞状态 c_t 的线性传递路径（c_t = f_t ⊙ c_{t-1} + ...）绕开了部分非线性压缩，但遗忘门 f_t 本身也是可学习的，如果模型学到 f_t < 1，梯度仍然会指数衰减。

常见误区：很多初学者认为LSTM“解决了”长距离依赖问题。实际上，LSTM只是将有效记忆长度从10步提升到100步左右，对于超过500步的序列（如长文档、语音全文），LSTM依然会丢失早期信息。此外，LSTM的梯度路径仍然存在“瓶颈”——细胞状态通道虽然线性，但输入门和遗忘门的交互使得梯度流并非完全畅通。

2.4 案例拆解：情感分类中的长距离依赖失效

我们以一个实际的自然语言处理任务来演示RNN/LSTM的局限。假设我们要对一段电影评论进行情感分类（正面/负面），评论长度为80个词。关键信息出现在第5个词：“not”，而它修饰的是第75个词“good”。正确的判断需要模型将“not”与“good”关联起来。

  1. 初始现象：使用LSTM训练该任务，验证集准确率在75%左右停滞，而人类判断准确率约为95%。
  2. 分析过程：检查LSTM的细胞状态，发现当处理到第75个词时，第5个词“not”的信息在细胞状态中的分量已经衰减到初始值的0.03（即3%）。这意味着模型实际上“忘记”了否定词的存在。
  3. 关键数据：我们计算了梯度范数，从第75步反向传播到第5步时，梯度范数从1.0衰减到0.002，证实了梯度消失。
  4. 尝试的解决方案：增加LSTM隐藏层维度（从128增至512）、使用双向LSTM、添加残差连接——这些措施将准确率提升到82%，但无法突破85%的瓶颈。
  5. 结果对比：改用Transformer（仅用2层注意力层）后，准确率直接跃升至93%。原因在于注意力机制允许模型直接计算“not”和“good”之间的权重，路径长度为1，不存在梯度衰减。
  6. 复盘经验：当序列长度超过50且存在远距离语义关联时，应优先考虑非递归架构。LSTM适合中等长度（20-100步）且对延迟敏感的场景（如流式语音识别），但不应作为长文本建模的首选。

2.5 注意力机制的必要性：从“顺序压缩”到“全局寻址”

注意力机制（Attention）的提出彻底改变了序列建模的范式。其核心思想是：不再将整个序列压缩成一个固定维度的向量，而是保留所有时间步的表示，并在每一步动态地“查询”与当前输出最相关的历史信息。用公式表达为：

Attention(Q, K, V) = softmax(QKᵀ / √d_k) · V

其中 Q（Query）代表当前查询，K（Key）代表被检索的键，V（Value）代表实际的信息内容。通过点积计算相似度，再经过softmax归一化得到权重，最后加权求和。这一机制有三个关键优势：

  • 路径长度恒为1：无论两个位置相隔多远，它们之间的依赖关系只需一次矩阵乘法即可建立，彻底消除了梯度衰减问题。
  • 完全并行化：所有位置的注意力权重可以同时计算，不再依赖前一步的输出，极大提升了训练效率。
  • 可解释性：注意力权重矩阵可以直接可视化，帮助我们理解模型关注了哪些输入部分。
经验提醒：注意力机制并非没有代价。它的计算复杂度为 O(n²)（n为序列长度），对于超长序列（如100k tokens）会带来显存压力。工程上通常采用稀疏注意力、局部注意力或线性注意力（如Linformer）来缓解。但在绝大多数实际场景（序列长度 < 2048）中，标准注意力是性价比最高的选择。

2.6 总结复盘：RNN家族与注意力机制的本质差异

我们可以用一个类比来总结本章的核心内容：RNN/LSTM/GRU像是一个只能逐页阅读的读者，必须读完第1页才能读第2页，并且读到最后时已经忘记了第1页的细节；而注意力机制则像是一个可以同时浏览所有页面的读者，能够随时翻回任意一页查找关键信息。这种“全局视野”正是现代大模型能够处理长上下文、实现少样本学习的基础。

在实际工程选型中，我们建议遵循以下判断路径：

  1. 如果序列长度 < 20且对延迟极度敏感（如嵌入式设备上的关键词检测），RNN仍可考虑。
  2. 如果序列长度在20-100之间且需要流式处理（如实时语音识别），LSTM/GRU是合理选择。
  3. 如果序列长度 > 100或需要捕捉长距离语义关联（如机器翻译、文本摘要、代码生成），应直接采用Transformer或基于注意力的架构。
  4. 如果计算资源受限且序列长度 > 1000，可考虑稀疏注意力或混合架构（如Transformer + 局部RNN）。
← 上一章 📖 返回目录 下一章 →