4、深度学习时序模型入门：RNN、LSTM、GRU、1D-CNN、Transformer在时序数据上的适用性与优缺点

在TFLite时序模型量化落地之前，必须先回答一个更根本的问题：面对传感器采集的加速度、陀螺仪、温度、电流或振动信号，我们究竟该选择哪种深度学习网络结构？RNN、LSTM、GRU、1D-CNN与Transformer各自拥有不同的归纳偏置，在时序长度、计算资源、推理延迟和量化友好度上差异显著。本章从核心原理出发，逐一剖析这五类模型在时序数据上的适用边界、优势与短板，并给出面向边缘设备（MCU、DSP、移动端NPU）的选型判断路径。

上图给出了时序模型选型的整体决策框架。左侧递归模型擅长处理短序列和强状态依赖任务，右侧并行模型适合长序列与批量推理场景，而中间的关键决策维度将直接影响后续TFLite量化的难度与精度损失。下面逐一深入分析各模型的原理与工程特性。

4.1 RNN：最朴素的时序建模起点

核心原理

循环神经网络（RNN）通过隐藏状态 \( h_t = \tanh(W_{hh}h_{t-1} + W_{xh}x_t + b) \) 在时间步之间传递信息。其核心假设是：当前时刻的输出只依赖于当前输入和上一时刻的隐藏状态，形成一个链式结构。在传感器分类场景中，RNN可以逐帧读取加速度计数据，并累积历史信息用于判断当前运动状态（静止、走路、跑步）。

适用性与优缺点

案例拆解：基于RNN的简易敲击检测

在智能门锁的敲击密码识别中，使用3轴加速度计以100Hz采样，每次敲击产生约30个采样点。采用单层RNN（隐藏单元16个），输入维度3，输出为敲击次数分类（1~5次）。实际部署时发现：当敲击间隔超过0.5秒（即50个时间步），RNN的准确率从92%降至78%，原因是梯度衰减导致早期敲击信息丢失。改用LSTM后，同样条件下准确率回升至89%。

4.2 LSTM：长短期记忆的工业标准

核心原理

LSTM引入门控机制（输入门、遗忘门、输出门）和细胞状态 \( C_t \)，使得梯度可以沿时间步长“高速公路”传播。遗忘门 \( f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) \) 决定保留多少历史信息，从而有效缓解梯度消失。在传感器异常检测中，LSTM能记住设备正常运行时的基线模式，并在数秒后仍能识别出微小的漂移。

适用性与优缺点

操作流程：LSTM模型量化前的结构优化

1. 将LSTM层数控制在2层以内，避免深层堆叠导致量化误差累积。
2. 隐藏单元数选择2的幂次（如32/64/128），便于TFLite内存对齐。
3. 在LSTM后接全局平均池化而非全连接层，减少参数量并提升量化鲁棒性。
4. 使用tf.lite.TFLiteConverter时，设置optimizations=[tf.lite.Optimize.DEFAULT]并准备500~1000条代表性校准数据。

4.3 GRU：轻量化的LSTM替代方案

核心原理

门控循环单元（GRU）将LSTM的三个门简化为两个门（更新门 \( z_t \) 和重置门 \( r_t \)），并合并细胞状态与隐藏状态。其参数量约为LSTM的3/4，计算量更低，在边缘设备上推理速度提升约20%~30%。GRU在多数时序分类任务上能达到与LSTM相当的性能，尤其适合数据量中等（<10万样本）的场景。

适用性与优缺点

案例拆解：GRU在TFLite Micro上的部署

在Cortex-M4F内核的MCU上部署手势识别模型（识别6种手势，窗口长度64，3轴加速度计）。对比LSTM（64单元）与GRU（64单元）：

• LSTM：参数量16.8K，Flash占用67KB，单次推理耗时38ms，INT8精度95.1%
• GRU：参数量12.6K，Flash占用51KB，单次推理耗时29ms，INT8精度94.8%

GRU在精度几乎不变的情况下，Flash占用减少24%，推理速度提升24%。对于Flash≤256KB的MCU，GRU是比LSTM更稳妥的选择。

4.4 1D-CNN：并行计算与局部特征提取

核心原理

一维卷积神经网络（1D-CNN）通过在时间维度上滑动卷积核提取局部模式。卷积核 \( W \in \mathbb{R}^{k \times C_{in}} \) 对窗口内的 \( k \) 个时间步做加权求和，多个卷积核并行捕捉不同频率特征。与RNN不同，1D-CNN不依赖时间步递归，因此可以完全并行计算，训练和推理速度极快。

适用性与优缺点

操作流程：1D-CNN的膨胀卷积设计

# 使用膨胀卷积扩大感受野
inputs = tf.keras.Input(shape=(256, 3))
x = tf.keras.layers.Conv1D(filters=32, kernel_size=3, dilation_rate=1, activation='relu')(inputs)
x = tf.keras.layers.Conv1D(filters=32, kernel_size=3, dilation_rate=2, activation='relu')(x)
x = tf.keras.layers.Conv1D(filters=32, kernel_size=3, dilation_rate=4, activation='relu')(x)
x = tf.keras.layers.GlobalAveragePooling1D()(x)
outputs = tf.keras.layers.Dense(4, activation='softmax')(x)

上述结构在膨胀率1→2→4下，感受野覆盖1+2+4=7个原始步长，但通过堆叠3层可覆盖约2^3=8倍窗口长度。实际使用时，建议根据传感器采样率调整膨胀率，确保感受野覆盖一个完整动作周期（如步态周期约1秒，100Hz采样即100步）。

4.5 Transformer：全局注意力与长序列建模

核心原理

Transformer通过自注意力机制（Self-Attention）直接计算序列中任意两个位置之间的依赖关系，注意力权重 \( \text{Attention}(Q,K,V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V \)。这使得模型能够并行处理整个序列，并捕捉远距离依赖。在传感器时序中，Transformer可以同时关注当前振动峰值与5秒前的基线漂移，适合复杂异常模式识别。

适用性与优缺点

案例拆解：Transformer在TFLite部署的挑战

在化工厂压缩机振动监测中，使用窗口长度512的Transformer（4头注意力，2层编码器）进行异常分类。浮点模型准确率98.5%，但INT8量化后降至89.2%，主要原因是注意力分数（softmax输出）在量化后分布偏移。解决方案：

1. 对Q、K、V矩阵采用per-channel量化，而非per-tensor。
2. 将softmax替换为ReLU+归一化（近似注意力），减少动态范围。
3. 使用FP16量化替代INT8，精度恢复至96.8%，但Flash占用增加约40%。

4.6 模型对比与选型决策清单

选型判断路径

1. 序列长度≤50且硬件极简：选RNN或GRU（优先GRU）。
2. 序列长度50~300且需在线推理：选GRU或1D-CNN（若局部特征为主）。
3. 序列长度>300且可接受较高延迟：选1D-CNN（膨胀卷积）或Transformer（有NPU）。
4. 量化精度敏感（INT8损失<2%）：优先1D-CNN，其次GRU。
5. 多传感器融合且需跨通道关联：选Transformer或1D-CNN（大卷积核）。