3. 深度学习模型基础：神经网络核心概念及嵌入式场景适用性
在嵌入式AI模型转换与部署的实战链条中，对神经网络核心概念的深入理解是决定后续量化、剪枝、算子映射及硬件加速能否成功的前提。嵌入式平台（如ARM Cortex-M、Cortex-A系列、NPU、GPU、FPGA）在算力、内存带宽和功耗上均受严格约束，因此并非所有主流模型都适合直接部署。本章将系统梳理卷积、池化、全连接、激活函数等基础算子，对比CNN、RNN、Transformer三大模型家族的结构特性，并重点分析它们在嵌入式场景中的适用性边界与工程取舍。
3.1 核心算子原理与计算特性
3.1.1 卷积层：嵌入式部署的计算瓶颈
核心原理：卷积操作通过滑动窗口对输入特征图进行加权求和，实现局部感受野的特征提取。其计算量为：MACs = K² × C_in × H_out × W_out × C_out，其中K为卷积核尺寸，C_in为输入通道数，H_out/W_out为输出特征图尺寸。在嵌入式部署中，卷积层通常占据总计算量的90%以上，是优化优先级最高的算子。
判断方法：评估卷积层在目标平台上的可行性时，需关注三个关键指标：
- 内存占用：特征图尺寸 × 位宽（FP32为4字节，INT8为1字节）。例如224×224×64的FP32特征图占用12.8MB，远超多数MCU的SRAM容量。
- 计算密度：MACs/秒需匹配硬件算力。以STM32H7（主频480MHz，带DSP指令）为例，其理论峰值约0.96 GMAC/s，运行MobileNetV1（约569M MACs）需约0.6秒/帧。
- 数据复用性：卷积的输入/输出通道间存在大量数据复用，适合利用DMA和行缓冲器优化。
工程经验：在Cortex-M系列上部署时，优先选择深度可分离卷积（Depthwise Separable Convolution），其计算量约为标准卷积的1/9至1/8。例如，MobileNetV2的深度可分离卷积层在STM32F746上可达到约15帧/秒（输入尺寸96×96，INT8量化）。
3.1.2 池化层与全连接层
池化层：主要功能为下采样和特征压缩。最大池化（Max Pooling）保留局部最大值，对微小位移具有鲁棒性；平均池化（Average Pooling）平滑特征，常用于分类网络末端。池化层本身无参数，计算量低，但在嵌入式部署中需注意：某些NPU不支持非2倍步长的池化，需在模型转换时进行算子替换或填充调整。
全连接层：将特征图展平为一维向量后进行矩阵乘法。其参数量占比高（如VGG16的全连接层占参数量89%），但计算密度相对较低。在嵌入式场景中，全连接层通常被全局平均池化（GAP）替代，或通过矩阵分解降低参数量。
| 算子类型 | 参数量占比 | 计算量占比 | 嵌入式优化策略 |
|---|---|---|---|
| 卷积层 | 约60-70% | 约90-95% | 深度可分离、通道剪枝、INT8量化 |
| 全连接层 | 约20-30% | 约5-10% | GAP替代、低秩分解、权重聚类 |
| 池化层 | 0% | 约1-2% | 算子融合、硬件加速 |
3.1.3 激活函数与批归一化
激活函数：ReLU及其变体（LeakyReLU、PReLU）是嵌入式首选，因其计算简单（仅比较和乘法）。而Sigmoid和Tanh涉及指数运算，在无FPU的MCU上开销极大。Swish/SiLU虽精度更高，但其导数计算复杂，在INT8量化时易产生较大误差。
批归一化（BN）：在训练时用于加速收敛，但在推理阶段可被融合进前一卷积层。融合公式为：W' = W × γ/√(σ²+ε)，b' = (b-μ) × γ/√(σ²+ε) + β。这一操作在模型转换时由工具链自动完成，可减少约5%的推理延迟。
常见误区：部分工程师在量化时忽略激活函数的对称性。ReLU输出全为非负值，适合使用非对称量化（zero-point不为0）；而Tanh输出范围为[-1,1]，对称量化更合适。错误选择量化方式会导致精度损失超过2%。
3.2 主流模型架构及嵌入式适用性
3.2.1 CNN：嵌入式视觉任务的主力
核心原理：CNN通过卷积层堆叠提取从低级边缘到高级语义的特征，其空间共享权重特性天然适配图像数据。经典模型包括：
- ResNet：引入残差连接解决深层网络退化问题，但参数量大（ResNet50约25.5M），适合算力较强的边缘设备（如Jetson Nano）。
- MobileNet系列：采用深度可分离卷积和宽度乘子α，MobileNetV2在ImageNet上Top-1约72%，参数量仅3.4M，是MCU级设备的首选。
- EfficientNet：通过复合缩放（深度、宽度、分辨率）平衡精度与效率，但其NAS搜索出的结构包含某些嵌入式工具链不支持的算子（如Swish激活），需谨慎评估。
嵌入式适用性判断：选择CNN模型时，需同时考虑参数量（决定Flash占用）、MACs（决定延迟）和内存峰值（决定SRAM需求）。下表给出典型模型在STM32H743（Cortex-M7, 480MHz）上的实测数据（INT8量化，输入96×96）：
| 模型 | 参数量 | MACs | Flash占用 | 推理延迟 | Top-1精度 |
|---|---|---|---|---|---|
| MobileNetV1 (α=0.25) | 0.47M | 41M | 0.5MB | 85ms | 54.3% |
| MobileNetV2 (α=0.35) | 1.7M | 59M | 1.8MB | 120ms | 60.3% |
| ResNet-18 | 11.2M | 556M | 11.5MB | 1.2s | 69.8% |
3.2.2 RNN/LSTM：时序任务的边缘挑战
核心原理：RNN通过循环连接处理序列数据，LSTM引入门控机制缓解梯度消失。但RNN的串行特性导致其难以并行化，且权重矩阵在时间步间共享，计算密度低。
嵌入式适用性：在MCU上部署LSTM需注意：
- 内存瓶颈：LSTM的隐藏状态需在时间步间持续保存，若隐藏单元数为256，FP32状态占用1KB，INT8占用256B，尚可接受。
- 计算瓶颈：每个时间步需执行4次矩阵向量乘（输入门、遗忘门、候选值、输出门），总计算量为4×H²。对于H=256，单步计算约262K MACs，在100MHz MCU上约需2.6ms。
- 量化敏感性：LSTM对激活函数（tanh/sigmoid）的量化误差敏感，建议使用混合量化（权重INT8，激活保留FP16）。
实战建议：对于嵌入式语音唤醒词检测，推荐使用TC-ResNet或CRNN（CNN+RNN混合）替代纯LSTM。CRNN将CNN用于短时特征提取，RNN仅处理低维时序特征，可减少约60%的RNN计算量。
3.2.3 Transformer：从云端到边缘的迁移挑战
核心原理：Transformer基于自注意力机制（Self-Attention），通过Q、K、V矩阵计算全局依赖关系。其计算复杂度为O(n²)，其中n为序列长度。对于视觉任务（ViT），输入图像被切分为16×16的patch，序列长度通常为196（224×224输入），计算量集中在多头注意力和前馈网络（FFN）。
嵌入式部署难点：
- 内存峰值高：注意力矩阵（n×n）在FP32下，n=196时占用153KB，超出多数MCU的SRAM。
- 算子复杂：Softmax、LayerNorm、GELU等算子对INT8量化不友好，需特殊处理。
- 参数量大：ViT-Base参数量86M，即使INT8量化后仍需86MB Flash，远超MCU容量。
轻量化方案：近年来出现的EdgeFormer、MobileViT等轻量Transformer，通过将注意力限制在局部窗口或与CNN混合，将参数量降至5M以下。例如MobileViT-S在ImageNet上Top-1约78%，参数量5.6M，可在带有NPU的边缘SoC（如瑞萨RZ/V2L）上实时运行。
3.3 嵌入式场景模型选型决策框架
判断流程：在实际项目中，模型选型应遵循以下步骤：
- 明确硬件约束：记录Flash容量、SRAM大小、算力（GMAC/s）、支持的算子列表。
- 定义性能目标：设定延迟上限（如<100ms）、精度下限（如Top-1>85%）、功耗预算（如<500mW）。
- 候选模型筛选：从预训练模型库中筛选满足参数量
- 工具链兼容性检查：使用ONNX Runtime或TensorFlow Lite Micro进行算子映射测试，标记不支持算子。
- 量化模拟：使用QAT（量化感知训练）或PTQ（训练后量化）评估精度损失。
- 原型验证：在开发板上运行基准测试，测量实际延迟和内存峰值。
3.3.1 案例拆解：智能门锁人脸识别模型选型
背景与约束：某智能门锁产品需在电池供电下实现人脸识别，硬件平台为Cortex-A53双核（1.2GHz）+ 0.5 TOPS NPU，内存1GB LPDDR3，Flash 8GB eMMC。要求：识别延迟<500ms，功耗<2W，识别准确率（LFW数据集）>99%。
初始方案与问题：工程师最初选择ResNet-50作为特征提取网络，在NPU上运行INT8量化版本。实测延迟为380ms，功耗1.8W，精度99.2%，看似满足要求。但在连续运行1小时后，NPU温度升至85℃，触发降频，延迟恶化至650ms。
分析过程：通过性能分析工具发现，ResNet-50的瓶颈在最后几个高通道数卷积层（C5阶段），其计算量占整体40%，且NPU的MAC利用率仅65%（因通道数不匹配导致padding开销）。
优化措施：
- 将ResNet-50替换为MobileFaceNet（专为嵌入式人脸识别设计，参数量0.99M，MACs 448M）。
- 使用QAT训练，将精度从99.1%提升至99.3%（INT8）。
- 在NPU上启用Winograd卷积加速（F(2,3)算法），将卷积层延迟降低30%。
结果对比：优化后延迟降至210ms，功耗1.1W，NPU温度稳定在65℃。精度保持99.3%，满足所有指标。
复盘经验：模型选型不能仅看参数量，需结合NPU的算子映射效率。ResNet-50的7×7卷积在NPU上效率低于MobileFaceNet的3×3深度可分离卷积。此外，Winograd变换会增加INT8量化误差，需在QAT阶段加入噪声模拟。
3.3.2 常见误区与总结
误区一：认为参数量越小，部署越容易。实际上，某些轻量模型（如EfficientNet-B0）包含Swish激活和SE模块，在无NPU的MCU上反而比ResNet-18更难部署。
误区二：忽略激活函数的量化敏感性。ReLU6在量化时需特殊处理，否则会导致MobileNetV2精度下降超过3%。
误区三：盲目追求INT8量化。对于RNN和Transformer，FP16混合精度往往比INT8更稳定，且现代MCU（如Cortex-M55）已支持FP16向量指令。
总结：嵌入式AI模型选型是一个多目标优化问题，需在精度、延迟、功耗、内存和工具链兼容性之间权衡。核心原则是：优先选择为边缘设备设计的模型架构（如MobileNet、MobileFaceNet、EdgeFormer），并在早期阶段就进行硬件在环验证。对于Transformer类模型，除非目标平台具备专用NPU且支持Softmax/LayerNorm硬件加速，否则建议采用CNN或CNN-Transformer混合架构。