4、循环神经网络（RNN）与序列模型选型：RNN、LSTM、GRU、Transformer在时间序列与NLP任务中的选型策略

说到序列模型，很多同学第一反应就是“用LSTM准没错”。但说实话，我在实际项目中踩过不少坑，发现选型这事儿真没那么简单。你想想看，同样是处理时间序列，股票预测和情感分析对模型的要求能一样吗？

今天我就把RNN家族这几个核心成员——RNN、LSTM、GRU、Transformer——掰开揉碎了讲清楚。咱们不光聊理论，更重要的是告诉你什么场景该选谁。

4.1 从RNN到Transformer：进化路线图

先看一张整体架构图，帮你建立全局认知：

序列模型进化路线图 RNN 基础循环结构 LSTM 门控机制·长依赖 GRU 简化门控·高效 Transformer 自注意力·并行计算·位置编码 核心能力对比 • RNN：短序列、简单时序，计算快但梯度易消失 • LSTM/GRU：中长序列，门控解决长依赖，GRU参数更少 • Transformer：超长序列、并行训练，NLP主流，小数据需谨慎

4.2 经典RNN：简单但有限

最原始的RNN，结构其实很直观。每个时间步把当前输入和上一时刻的隐藏状态一起扔进一个全连接层，再经过tanh激活。

# 一个简单的RNN单元
import torch.nn as nn

rnn = nn.RNN(input_size=10, hidden_size=20, num_layers=1, batch_first=True)
# 输入形状: (batch, seq_len, input_size)
output, h_n = rnn(input_tensor)

但问题也很明显——梯度消失。我记得刚入行时做过一个文本生成项目，序列长度超过20步，RNN基本就学不动了。长距离依赖信息根本传不回来。

避坑指南： 我曾经在一个风速预测项目里直接用RNN，序列长度只有15，效果还行。但一旦序列超过30步，loss直接下不去。如果你序列长度超过20，建议直接跳过RNN。

4.3 LSTM：长依赖的救星

LSTM引入了三个门——遗忘门、输入门、输出门——外加一个细胞状态。说白了就是给信息流动装了“红绿灯”。

lstm = nn.LSTM(input_size=10, hidden_size=20, num_layers=2, batch_first=True, dropout=0.2)
output, (h_n, c_n) = lstm(input_tensor)

我个人的习惯是：处理金融时间序列、传感器数据这类中等长度序列时，LSTM是首选。它比GRU多一个细胞状态，对长期记忆的保留更精细。

实战技巧： LSTM的num_layers不要超过3层，否则训练不稳定。我一般先用2层，如果欠拟合再加到3层。dropout设在0.2~0.5之间。

4.4 GRU：轻量级替代方案

GRU把LSTM的三个门合并成两个——重置门和更新门——参数少了三分之一。效果呢？说实话，在很多任务上跟LSTM差不多。

gru = nn.GRU(input_size=10, hidden_size=20, num_layers=2, batch_first=True, dropout=0.2)
output, h_n = gru(input_tensor)

什么时候用GRU？数据量不大、计算资源有限、或者你需要快速迭代实验的时候。我在一个工业设备故障预测项目里，用GRU替换LSTM后训练速度提升了近30%，精度只掉了不到1%。

4.5 Transformer：NLP的王者

Transformer用自注意力机制彻底抛弃了循环结构。每个位置都能直接看到所有其他位置，长距离依赖不再是问题。

from torch.nn import TransformerEncoder, TransformerEncoderLayer

encoder_layer = TransformerEncoderLayer(d_model=512, nhead=8, dim_feedforward=2048, dropout=0.1)
transformer_encoder = TransformerEncoder(encoder_layer, num_layers=6)
# 输入形状: (seq_len, batch, d_model)
output = transformer_encoder(src)

但Transformer不是万能的。我踩过最大的坑就是小数据集上硬上Transformer——过拟合到怀疑人生。它需要大量数据才能发挥威力。

核心结论： 数据量 < 10万样本时，优先考虑LSTM/GRU；数据量 > 100万时，Transformer优势明显。中间地带可以先用GRU做baseline。

4.6 选型决策表

任务类型 推荐模型 理由
短时序预测（<20步） RNN / GRU 简单够用，训练快
中长时序预测（20~200步） LSTM / GRU 门控机制解决长依赖
超长时序（>200步） Transformer 自注意力无距离衰减
文本分类/情感分析 LSTM / Transformer LSTM小数据稳，Transformer大数据强
机器翻译 Transformer 并行训练，效果碾压RNN
实时流式处理 GRU 计算量小，延迟低

4.7 实战选型流程

我总结了一套选型流程，每次做序列项目都按这个来：

  1. 先看数据量：小于1万条？直接上GRU。大于10万条？考虑Transformer。
  2. 再看序列长度：短序列用RNN或GRU，长序列用LSTM或Transformer。
  3. 看任务类型：NLP任务优先Transformer，时序预测优先LSTM/GRU。
  4. 做baseline：先用GRU跑一个简单版本，看上限在哪。
  5. 迭代优化：如果GRU效果不够，再换LSTM或Transformer。
我的经验： 别一上来就上Transformer。先用GRU跑通整个pipeline，确认数据没问题、预处理正确，再考虑升级模型。这样能省下大量调试时间。

4.8 避坑总结

  • 梯度爆炸：RNN系列都容易炸，记得加梯度裁剪（clip_grad_norm_）。
  • 过拟合：Transformer在小数据上尤其严重，dropout和weight decay要调大。
  • 训练速度：LSTM比GRU慢，Transformer比LSTM慢。资源有限时优先GRU。
  • 序列填充：变长序列要用pack_padded_sequence，否则计算浪费严重。

嗯，选型这事儿说到底没有银弹。我见过用LSTM在文本分类上吊打Transformer的案例，也见过Transformer在时序预测上完胜LSTM的场景。关键还是理解每个模型的特性，结合你的数据特点做选择。

← 上一章 📖 返回目录 下一章 →