3、时序模型基础：常见时序模型（RNN、LSTM、GRU、TCN、Transformer）及其在边缘部署的挑战
在TinyML场景中，时序模型承担着从传感器流、音频帧、振动信号或生理数据中提取时间依赖关系的核心任务。与图像模型不同，时序模型不仅要处理空间特征，还必须显式建模时间维度上的先后依赖与长期记忆。理解各类时序模型的结构差异、计算特性与部署约束，是后续进行量化感知训练和推理优化的前提。本章将系统梳理RNN、LSTM、GRU、TCN与Transformer五类主流时序模型，重点剖析它们在边缘设备上的部署瓶颈，并给出选型与量化准备的建议。
3.1 核心原理：五类时序模型的结构与时间建模方式
时序模型的核心任务是捕捉输入序列 \(x_1, x_2, ..., x_T\) 中的时间依赖关系。不同模型采用截然不同的机制来建模这种依赖，这直接决定了它们的计算模式、参数量与部署特性。
- RNN（循环神经网络）：通过隐藏状态 \(h_t = \tanh(W_{xh}x_t + W_{hh}h_{t-1} + b)\) 逐时间步传递信息。其本质是串行递归，每个时间步的计算依赖前一步的隐藏状态，导致无法并行化。RNN结构简单、参数量小，但存在严重的梯度消失问题，难以学习长距离依赖（超过10~20个时间步）。
- LSTM（长短期记忆网络）：引入输入门、遗忘门、输出门和细胞状态 \(c_t\)，通过门控机制控制信息流的写入、保留与读取。LSTM能有效建模100步以上的长依赖，但每个时间步需要计算4组权重矩阵（对应4个门），计算量约为RNN的4倍，参数量也相应增加。
- GRU（门控循环单元）：将LSTM的3个门简化为更新门和重置门2个门，合并细胞状态与隐藏状态。GRU参数量比LSTM少约25%，计算量更低，在多数任务上精度与LSTM相当，是边缘部署中更经济的选择。
- TCN（时间卷积网络）：使用因果卷积（causal convolution）和膨胀卷积（dilated convolution）构建时间依赖。TCN可以并行处理整个序列，训练速度快，但为了获得较大的感受野，需要堆叠多层或使用大膨胀率，导致模型深度增加、内存占用上升。
- Transformer：通过自注意力机制（self-attention）直接计算序列中任意两个位置之间的依赖关系，时间复杂度为 \(O(T^2)\)。Transformer在长序列建模上表现卓越，但计算量和内存占用随序列长度平方增长，在边缘设备上通常需要大幅压缩或剪枝。
3.2 判断方法：如何根据任务与硬件选择时序模型
在TinyML项目中，模型选型不能仅看精度，必须综合考量序列长度、实时性要求、硬件算力与内存限制。以下给出一个系统化的判断流程：
- 明确序列长度与依赖范围：若任务只需短时依赖（如按键识别、简单手势），RNN或GRU即可；若需长时依赖（如语音命令、心率变异性分析），优先LSTM或TCN；若序列极长且需全局上下文（如整段音频分类），考虑Transformer但必须做轻量化改造。
- 评估实时性与延迟预算：流式推理（如实时传感器监测）要求逐时间步输出，递归模型（RNN/LSTM/GRU）天然适合；离线批处理（如一段振动信号分类）则可用TCN或Transformer并行处理。
- 估算硬件资源：查看目标MCU或NPU的Flash/RAM容量、MACs/秒峰值、是否支持并行计算。例如，Cortex-M4系列适合小规模GRU，而带有硬件加速器的NPU更适合TCN或小型Transformer。
- 量化敏感性预判：LSTM的遗忘门和Transformer的Softmax对低比特量化（如INT8）较敏感，可能需要QAT或混合精度；GRU和TCN相对鲁棒，PTQ往往就能满足精度要求。
| 模型 | 参数量(基准) | 计算量/时间步 | 并行性 | 长依赖能力 | 量化难度 | 典型边缘场景 |
|---|---|---|---|---|---|---|
| RNN | 1× | 1× | 差 | 弱(≤10步) | 低 | 极简单序列 |
| LSTM | 4× | 4× | 差 | 强(100+步) | 中高 | 语音唤醒、ECG分析 |
| GRU | 3× | 3× | 差 | 较强(50+步) | 中 | 运动识别、异常检测 |
| TCN | 2~5× | 2~5× | 好 | 强(可调感受野) | 中低 | 振动分类、工业监测 |
| Transformer | 5~20× | O(T²) | 极好 | 极强(全局) | 高 | 音频事件检测(需压缩) |
3.3 案例拆解：Cortex-M7上LSTM与TCN的部署对比
我们以一个实际的工业振动异常检测项目为例，对比LSTM与TCN在边缘部署中的表现。设备使用STM32H743（Cortex-M7 @ 480MHz，2MB Flash，1MB RAM），传感器以1kHz采样加速度信号，每帧处理256个时间步（约256ms窗口），需在50ms内完成推理。
初始方案A：LSTM（隐藏单元64，2层）。模型参数量约68K，单次推理需256个时间步串行计算，每步约需4×64×64=16K MACs，总计约4.2M MACs。在Cortex-M7上实测推理时延为38ms，满足50ms预算，但内存峰值达到180KB（含中间状态），Flash占用约280KB。进一步做INT8 PTQ量化后，精度从96.2%降至93.8%，下降2.4个百分点，主要原因是遗忘门对量化误差敏感。
方案B：TCN（膨胀率[1,2,4,8]，通道数32，4层）。模型参数量约45K，由于因果卷积可并行，256个时间步一次性计算，总MACs约3.8M。推理时延仅12ms，远优于LSTM。但内存峰值达到320KB（需缓存整个序列的中间特征图），Flash占用约200KB。INT8 PTQ量化后精度为95.1%，仅下降1.1个百分点，鲁棒性更好。
分析与决策：虽然TCN时延更优、量化损失更小，但其320KB内存峰值已接近1MB RAM的三分之一，若系统还需运行其他任务则可能紧张。最终方案采用TCN并做两点优化：①将序列分块为64步的4个子窗口，逐块推理并保留重叠区域，内存峰值降至120KB；②对第一层卷积保留INT16，其余层用INT8，精度恢复至95.6%。
3.4 常见误区与总结复盘
在边缘时序模型选型与部署中，工程师常陷入以下误区：
- 误区一：认为LSTM一定优于RNN。对于短序列任务，RNN的简单结构反而更省电、更易量化，精度差距可忽略不计。
- 误区二：忽视递归模型的串行时延。LSTM/GRU虽然参数量不大，但时间步串行计算在低主频MCU上可能成为瓶颈，尤其当序列长度超过100时。
- 误区三：对Transformer盲目乐观。即使轻量化后的Transformer（如小于1M参数）在MCU上运行，其 \(O(T^2)\) 的注意力计算和中间矩阵的内存占用仍可能超出RAM限制，通常需要配合窗口化或稀疏注意力。
- 误区四：量化时一刀切。不同模型对量化比特数的敏感度差异巨大，LSTM的门控和Transformer的Softmax需要特殊处理，而TCN和GRU通常可直接使用PTQ。
总结复盘：时序模型选型应遵循“任务依赖长度→实时性→硬件资源→量化鲁棒性”的决策链。在TinyML场景中，GRU和TCN往往是性价比最高的起点；若必须使用LSTM或Transformer，务必提前规划QAT和混合精度策略。同时，内存峰值与时延同样重要，建议在项目早期就建立硬件基准测试流程，避免后期返工。