3、深度学习模型基础：神经网络核心概念、卷积/全连接/激活函数、模型参数与计算量（FLOPs/MACs）
在MCU上部署深度学习模型，与在服务器或PC上运行模型有着本质差异：MCU的算力通常以数十至数百MHz计，内存以KB至数MB计，Flash存储也极为有限。因此，理解神经网络的基本构成、各层运算的本质以及模型复杂度指标，是进行后续量化、剪枝、算子优化和工程部署的前提。本章将系统梳理神经网络的核心概念，深入剖析卷积层、全连接层与激活函数的数学含义与硬件实现特点，并重点讲解如何计算与评估模型的参数（Params）和计算量（FLOPs/MACs），为MCU部署时的模型选型与性能预估打下坚实基础。
3.1 神经网络核心概念与张量表示
深度学习模型本质上是一个由大量参数组成的多层非线性函数逼近器。在MCU部署语境下，我们更关注其数据流形态：张量（Tensor）在网络中的流动方式。一个典型的卷积神经网络（CNN）接受形状为 [C_in, H_in, W_in] 的输入张量，经过一系列卷积、池化、激活和全连接操作后，输出形状为 [N_classes] 的预测向量。在MCU中，张量通常以连续内存块存储，其排布方式（如NHWC或NCHW）直接影响访存效率和算子实现难度。
3.2 卷积层：计算原理与硬件映射
卷积层是CNN中最核心的算子，其计算过程可理解为：使用一组可学习的卷积核（Kernel）在输入特征图上滑动，对覆盖区域进行加权求和并加上偏置。设输入通道数为 C_in，输出通道数为 C_out，卷积核尺寸为 K×K，输出特征图尺寸为 H_out×W_out，则卷积层的参数量为 C_out × C_in × K × K（不含偏置），计算量为 C_out × H_out × W_out × C_in × K × K 次乘加运算（MACs）。
在MCU上实现卷积时，通常采用直接卷积（Direct Convolution）或隐式GEMM（Implicit GEMM）方式。直接卷积适合小尺寸卷积核（如3×3），通过循环展开和寄存器缓存优化，可减少内存访问次数。而隐式GEMM将卷积转化为矩阵乘法，便于利用CMSIS-DSP等优化库，但需要额外的内存来存储im2col后的矩阵。
| 实现方式 | 内存占用 | 计算效率 | 适用场景 |
|---|---|---|---|
| 直接卷积 | 低（无需额外缓冲） | 中等（依赖循环优化） | 小模型、低端MCU |
| 隐式GEMM | 高（im2col缓冲） | 高（可调用SIMD指令） | 中高端MCU（Cortex-M7/M33） |
| Winograd卷积 | 中等 | 高（减少乘法次数） | 3×3卷积为主的模型 |
3.3 全连接层与激活函数
全连接层（Fully Connected Layer）将输入特征向量映射到输出向量，其本质是矩阵乘法：y = Wx + b。参数量为 N_in × N_out，计算量为 N_in × N_out 次MACs。在MCU部署中，全连接层通常位于网络末端，用于分类或回归。由于全连接层参数量大（例如 1024×512 就有52万参数），在资源受限的MCU上常被全局平均池化（GAP）替代或进行低秩分解。
激活函数为网络引入非线性。ReLU（max(0, x)）在MCU上实现极为简单，仅需一条比较指令，且能避免梯度消失问题。Sigmoid和Tanh涉及指数运算，在无FPU的MCU上需使用查表法或多项式近似，计算开销较大。近年来，ReLU6（min(max(0,x),6)）在量化部署中更受青睐，因为其输出范围有限，有利于定点数表示。
3.4 模型参数与计算量评估方法
评估一个模型是否适合MCU部署，需要同时关注参数量（Params）和计算量（FLOPs/MACs）。参数量决定Flash存储占用，计算量决定推理延迟。计算公式如下：
- 卷积层参数量：
Params = C_out × (C_in × K × K + 1)（+1为偏置） - 卷积层MACs：
MACs = C_out × H_out × W_out × C_in × K × K - 全连接层参数量：
Params = N_in × N_out + N_out - 全连接层MACs：
MACs = N_in × N_out - FLOPs：
FLOPs = 2 × MACs（一次乘加算两次浮点运算）
在MCU部署中，更常用MACs作为衡量指标，因为乘加运算是主要计算单元。例如，STM32F746（Cortex-M7 @216MHz）的峰值算力约为216 MMACs/s（每秒百万次乘加），若模型总MACs为10M，则理论推理延迟约为46ms，实际考虑访存开销后通常为理论值的2-4倍。
3.5 案例拆解：MobileNetV1在MCU上的部署评估
以经典的轻量级模型MobileNetV1为例，其核心是深度可分离卷积（Depthwise Separable Convolution），将标准卷积分解为深度卷积（Depthwise Conv）和逐点卷积（Pointwise Conv），大幅降低计算量。假设输入为 224×224×3，第一层标准卷积（32个3×3卷积核）的参数量为 32×3×3×3=864，MACs为 32×112×112×3×3×3=10.8M。而后续的深度可分离卷积层，深度卷积的MACs仅为 32×112×112×3×3=3.6M，逐点卷积的MACs为 64×112×112×32=25.7M，合计约29.3M，相比标准卷积的 64×112×112×32×3×3=231M 降低了近8倍。
在实际MCU部署中，我们选择STM32H743（Cortex-M7 @480MHz，2MB Flash，1MB RAM）作为目标平台。模型总参数量约4.2M（FP32），占用Flash约16.8MB，远超MCU容量，因此必须进行INT8量化，量化后参数量降至4.2MB，勉强可放入外部Flash。总MACs约569M，理论推理延迟约1.2秒，实际测试约3.5秒，满足非实时性应用需求。若需进一步优化，可考虑将输入分辨率降至160×160，MACs降至约290M，延迟可缩短至1.8秒。
112×112×32，占用RAM约400KB（FP32），若使用INT8则降至100KB。内存溢出是MCU部署中最常见的问题之一，务必在模型设计阶段就评估各层特征图的峰值内存。
3.6 常见误区与总结复盘
在评估模型复杂度时，工程师常犯以下错误：
- 混淆FLOPs与MACs：FLOPs是浮点运算次数，MACs是乘加次数，1 MAC = 2 FLOPs。在对比不同数据时，需确认其统计口径。
- 忽略偏置项：偏置参数虽小，但在量化部署时会影响内存对齐和计算流水线。
- 只算卷积层不算全连接层：某些模型（如SqueezeNet）全连接层占比虽小，但在MCU上可能成为瓶颈。
- 未考虑数据精度：FP32与INT8的MACs数值相同，但实际计算速度和内存占用差异巨大。
总结本章，神经网络在MCU上的部署是一个系统工程，需要从张量布局、算子实现、参数量压缩、计算量评估四个维度综合考量。建议在模型选型阶段就使用工具（如TensorFlow Lite Micro的Model Analyzer）生成详细的参数量和MACs报告，并结合目标MCU的Flash、RAM和算力进行预评估，避免后期返工。