4. 经典模型架构
视频预测任务的核心挑战在于同时建模时空维度上的动态演化。与图像分类或目标检测不同，视频预测要求模型不仅理解单帧的空间结构，还必须捕捉帧间的时间依赖关系。早期的全连接LSTM（FC-LSTM）在处理此类任务时，将输入展平为一维向量，彻底破坏了空间局部性，导致参数量巨大且难以泛化到不同分辨率。为此，学术界提出了一系列将卷积操作与循环神经网络（RNN）深度融合的架构。本章将深入剖析ConvLSTM、ConvGRU、PredRNN与E3D-LSTM这四种经典循环架构的设计思想、核心公式、优缺点及适用场景，并通过一个实战案例帮助读者建立直观认知。
上图展示了从FC-LSTM到E3D-LSTM的演进脉络。核心趋势是：从破坏空间结构到保持空间结构，再到显式建模时空联合特征。下面我们将逐一剖析每种架构的原理与实战要点。
4.1 ConvLSTM：将卷积引入循环门控
核心原理
ConvLSTM由Shi等人在2015年提出，用于降水临近预报。其核心思想是将FC-LSTM中的输入到状态和状态到状态的转换全部替换为卷积操作。以LSTM单元为例，其内部状态更新公式变为：
i_t = σ(W_xi * X_t + W_hi * H_{t-1} + b_i)
f_t = σ(W_xf * X_t + W_hf * H_{t-1} + b_f)
o_t = σ(W_xo * X_t + W_ho * H_{t-1} + b_o)
C_t = f_t ⊙ C_{t-1} + i_t ⊙ tanh(W_xc * X_t + W_hc * H_{t-1} + b_c)
H_t = o_t ⊙ tanh(C_t)其中*表示卷积操作，⊙表示Hadamard积。所有权重W均为卷积核，而非矩阵。这使得模型能够以滑动窗口的方式处理二维或三维张量，保留空间拓扑结构。
判断方法与操作流程
- 输入格式：通常为
[batch, timesteps, channels, height, width]或[batch, timesteps, height, width, channels]，需根据框架统一。 - 卷积核选择：一般使用3×3或5×5，padding保持尺寸不变。核越大感受野越大，但参数量平方增长。
- 层数堆叠：常用2-4层ConvLSTM堆叠，高层捕捉长距离依赖，低层保留细节。
- 输出层：通常接一个1×1卷积或3D卷积将隐藏状态映射为预测帧。
案例拆解：雷达回波外推
在某省级气象台，需要基于过去1小时（12帧，间隔5分钟）的雷达反射率图预测未来30分钟降水。初始方案使用FC-LSTM，将每帧128×128图像展平为16384维向量，模型参数量超过2亿，训练时显存溢出。改用ConvLSTM后：
- 输入形状设为
[batch=8, time=12, channel=1, height=128, width=128]。 - 使用两层ConvLSTM，隐藏维度均为64，卷积核5×5。
- 输出层使用3D转置卷积上采样至原分辨率。
- 损失函数采用加权MSE（对强回波区域赋予更高权重）。
结果：参数量降至约1500万，训练速度提升4倍，30分钟预报的临界成功指数（CSI）从0.32提升至0.41。复盘发现，ConvLSTM对回波的空间连续性建模明显优于FC-LSTM，但对快速演变的强对流系统仍存在模糊预测问题。
4.2 ConvGRU：轻量化门控变体
核心原理
ConvGRU将GRU的门控机制与卷积结合，仅保留重置门和更新门，参数量约为LSTM的3/4。其更新公式为：
z_t = σ(W_xz * X_t + W_hz * H_{t-1} + b_z)
r_t = σ(W_xr * X_t + W_hr * H_{t-1} + b_r)
H̃_t = tanh(W_xh * X_t + W_hh * (r_t ⊙ H_{t-1}) + b_h)
H_t = (1 - z_t) ⊙ H_{t-1} + z_t ⊙ H̃_t由于缺少独立的记忆单元C_t，ConvGRU的长期依赖能力略弱于ConvLSTM，但计算效率更高，显存占用更小。
实战场景与选择依据
| 对比维度 | ConvLSTM | ConvGRU |
|---|---|---|
| 参数量（同隐藏维度） | 约4倍于输入通道×隐藏维度×核大小² | 约3倍 |
| 训练速度 | 较慢 | 快约20-30% |
| 长期依赖 | 强（有独立记忆单元） | 中等 |
| 适用场景 | 需要精细时间建模的任务 | 实时性要求高、资源受限 |
在移动端或嵌入式设备上部署视频预测模型时，ConvGRU是更优选择。例如在智能摄像头中预测下一帧画面以触发告警，要求单帧推理时间小于50ms，此时ConvGRU配合模型量化可满足实时性。
4.3 PredRNN：跨层记忆传递
核心原理
PredRNN由Wang等人提出，旨在解决标准堆叠LSTM中层间信息隔离的问题。在传统堆叠结构中，每一层的隐藏状态只传递给下一层，高层无法直接访问低层的短期动态。PredRNN引入了一个额外的时空记忆单元（Spatiotemporal Memory），该记忆在层与层之间、时间步之间双向传递。
其核心创新在于：
- 记忆单元M：在时间维度上沿层向上传递，同时在下一时间步从顶层传递回底层，形成“Z”字形流动。
- Decoupling Loss：通过正则化项强制不同时间步的隐藏状态差异最大化，避免模型陷入“平均帧”的惰性预测。
操作流程与调优
- 初始化时空记忆
M_0为零张量。 - 对于每个时间步
t，从第1层到第L层依次更新：每层接收上一层的隐藏状态H_{t}^{l-1}和上一时间步同层的隐藏状态H_{t-1}^{l}，同时接收跨层记忆M_{t-1}。 - 更新后的记忆
M_t作为下一层的额外输入。 - 训练时加入Decoupling Loss：
L = L_pred + λ * Σ ||H_t - H_{t-1}||²，λ通常设为0.01-0.1。
案例拆解：交通流量预测
某智慧城市项目需要预测城市路网未来15分钟的车流速度。数据为20×20网格，每5分钟一帧。使用PredRNN后，相比ConvLSTM的MAE从8.2 km/h降至6.7 km/h。关键改进在于：
- 跨层记忆使得模型能够捕捉交通拥堵的“传播”效应——低层感知局部拥堵，高层理解全局路网联动。
- Decoupling Loss有效防止了预测帧趋于模糊，尤其在早晚高峰时段，预测的速度场更锐利。
4.4 E3D-LSTM：三维卷积与循环的融合
核心原理
E3D-LSTM（Efficient 3D Convolutional LSTM）由Wang等人在2018年提出，核心思想是使用3D卷积替代2D卷积来同时编码时空信息。3D卷积核在空间和时间维度上滑动，直接提取局部时空特征。其单元内部包含两个分支：
- 3D卷积分支：对输入
X_t和隐藏状态H_{t-1}进行3D卷积，生成候选记忆。 - LSTM门控分支：使用2D卷积计算门控信号，控制信息流入。
这种设计使得模型在输入阶段就融合了时间上下文，而非像ConvLSTM那样仅在状态传递时建模时间。
对比与选型
| 架构 | 空间建模 | 时间建模 | 计算复杂度 | 最佳场景 |
|---|---|---|---|---|
| ConvLSTM | 2D卷积 | 循环门控 | 中 | 降水、云图 |
| ConvGRU | 2D卷积 | 简化门控 | 低 | 实时系统 |
| PredRNN | 2D卷积+跨层记忆 | 循环+解耦 | 高 | 交通、人群 |
| E3D-LSTM | 3D卷积 | 循环门控 | 很高 | 科研、高精度 |
实战注意事项
- 显存爆炸：3D卷积的参数量随核大小立方增长，建议使用3×3×3核，并配合梯度累积。
- 序列长度：3D卷积要求输入序列长度固定，无法处理变长序列。若需变长，需padding或截断。
- 预训练：可先在Kinetics等视频数据集上预训练3D卷积部分，再微调LSTM部分。