3、图像识别基础：卷积神经网络（CNN）核心概念、图像分类任务、常见模型（LeNet、MobileNet、ResNet）简介

在将STM32CubeAI用于图像识别模型移植之前，必须首先建立对卷积神经网络（CNN）的扎实理解。STM32CubeAI的核心功能是将训练好的神经网络模型转换为可在MCU上高效运行的C代码，但若不了解CNN的组成、图像分类任务的本质以及不同模型架构的差异，就无法做出正确的模型选型与部署决策。本章将系统梳理CNN的核心概念、图像分类任务的完整流程，并深入对比LeNet、MobileNet、ResNet三种经典模型的架构特点与嵌入式部署适配性，为后续在STM32平台上完成模型转换与优化打下坚实的理论基础。

上图展示了CNN图像识别的基本流程与三种经典模型的对比关系。从输入图像到特征提取、分类输出，CNN通过卷积层自动学习图像的空间特征，通过池化层降低特征维度，最终由全连接层完成类别判定。而LeNet、MobileNet、ResNet分别代表了轻量级、平衡型和高精度三种不同的设计取向，在STM32嵌入式平台上需要根据硬件资源与任务需求做出合理选择。

3.1 CNN核心概念：从卷积到特征提取

3.1.1 卷积层：局部感受野与参数共享

卷积层是CNN的核心构建模块，其设计灵感来源于生物视觉皮层的局部感受野机制。每个卷积核（Filter）在输入图像上滑动，对局部区域进行加权求和，从而提取特定类型的特征。例如，第一个卷积层可能学习到边缘、角点等低级特征，而更深层的卷积核则能组合出纹理、部件甚至物体级别的语义特征。

卷积操作的两个关键特性是局部连接和参数共享。局部连接意味着每个输出神经元只与输入的一个局部窗口相连，大幅减少了参数量；参数共享则指同一个卷积核在整个输入上滑动时权重保持不变，进一步降低了模型复杂度。对于一个输入尺寸为H×W×C的图像，使用K个大小为F×F的卷积核，输出特征图的尺寸为(H-F+2P)/S+1，其中P为填充（Padding），S为步长（Stride）。

3.1.2 池化层：空间降维与平移不变性

池化层（Pooling）通常紧随卷积层之后，其作用是降低特征图的空间分辨率，减少计算量并增强模型的平移不变性。最常用的最大池化（Max Pooling）在2×2窗口内取最大值，将特征图尺寸减半。池化操作不引入额外参数，且能保留主要特征，抑制噪声。

在STM32部署场景中，池化层的计算开销极低，几乎可以忽略不计。但需要注意的是，池化会减少特征图尺寸，影响后续层的输入维度，因此在设计网络时需仔细计算各层输出尺寸，确保维度匹配。

3.1.3 激活函数：引入非线性

激活函数是CNN中不可或缺的组成部分，其作用是为网络引入非线性变换能力。没有激活函数，多层线性变换叠加后仍为线性变换，无法拟合复杂函数。常用的激活函数包括ReLU（Rectified Linear Unit）、Leaky ReLU和Sigmoid等。

ReLU函数定义为f(x)=max(0,x)，计算简单且能有效缓解梯度消失问题，是CNN中最常用的激活函数。在STM32CubeAI部署时，ReLU被映射为简单的比较和选择操作，几乎不消耗额外资源。而Sigmoid函数涉及指数运算，在MCU上实现时需要查表或使用近似算法，会增加计算开销。

激活函数	公式	优点	缺点	MCU部署成本
ReLU	max(0,x)	计算简单、缓解梯度消失	神经元死亡	极低
Leaky ReLU	max(αx,x)	避免神经元死亡	需额外参数α	低
Sigmoid	1/(1+e-x)	输出范围(0,1)	梯度消失、指数运算	高
Tanh	(ex-e-x)/(ex+e-x)	零中心化	梯度消失、指数运算	高

3.1.4 全连接层与Softmax分类

在卷积层和池化层完成特征提取后，全连接层（Fully Connected Layer）将二维特征图展平为一维向量，并通过矩阵乘法将特征映射到类别空间。最后一层通常使用Softmax激活函数，将输出转换为各类别的概率分布，所有类别概率之和为1。

全连接层是CNN中参数量最大的部分，例如在LeNet-5中，第一个全连接层的参数量占整个网络的80%以上。在嵌入式部署时，全连接层的权重矩阵需要占用大量Flash存储空间，因此许多轻量级网络采用全局平均池化（Global Average Pooling）替代全连接层，大幅减少参数量。

3.2 图像分类任务：从数据到部署的完整流程

3.2.1 图像分类任务定义与评价指标

图像分类任务的目标是给定一张输入图像，预测其所属的类别标签。这是计算机视觉中最基础的任务之一，也是目标检测、图像分割等高级任务的基础。分类任务的评价指标主要包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1分数。

在嵌入式场景中，除了模型精度外，还需要关注模型大小（Flash占用）、推理延迟（单次推理时间）和峰值内存（RAM占用）。STM32F4系列通常只有512KB~1MB Flash和128~256KB RAM，因此模型必须经过量化、剪枝等优化才能满足资源约束。

3.2.2 数据预处理与增强

在训练CNN模型之前，需要对图像数据进行预处理。常见的预处理操作包括：尺寸调整（Resize）、归一化（Normalization）、数据增强（Data Augmentation）。归一化将像素值从[0,255]映射到[0,1]或[-1,1]，有助于加速模型收敛。数据增强通过随机旋转、翻转、裁剪、色彩抖动等方式扩充训练集，提升模型的泛化能力。

在STM32部署时，预处理操作需要移植到MCU端。例如，STM32CubeAI生成的代码中会包含输入数据的预处理函数，开发者需要确保MCU端的预处理方式与训练时保持一致，否则会导致推理精度下降。

3.2.3 模型训练与验证

模型训练通常使用PyTorch、TensorFlow或Keras等深度学习框架在PC端完成。训练过程包括前向传播、损失计算、反向传播和参数更新四个步骤。常用的损失函数为交叉熵损失（Cross-Entropy Loss），优化器可选择SGD、Adam或RMSprop。

训练完成后，需要在独立的验证集上评估模型性能。若验证集准确率不达标，可尝试调整网络结构、增加数据增强、调整学习率或使用迁移学习。对于嵌入式部署，建议在训练阶段就考虑模型大小和计算量，选择适合MCU的轻量级网络。

3.2.4 模型转换与量化

训练好的模型需要转换为STM32CubeAI支持的格式。STM32CubeAI支持从Keras（.h5）、TensorFlow Lite（.tflite）和ONNX等格式导入模型。在转换过程中，可以配置量化选项，将浮点权重转换为INT8或INT16格式，以减小模型体积并加速推理。

量化分为训练后量化（Post-Training Quantization）和量化感知训练（Quantization-Aware Training）。训练后量化简单直接，但可能造成精度损失；量化感知训练在训练过程中模拟量化误差，能获得更好的量化后精度。对于STM32部署，推荐使用量化感知训练以获得最佳效果。

3.3 常见模型架构：LeNet、MobileNet、ResNet

3.3.1 LeNet-5：经典CNN的开山之作

LeNet-5由Yann LeCun于1998年提出，最初用于手写数字识别。其网络结构包含2个卷积层、2个池化层和3个全连接层，输入为32×32的灰度图像。LeNet-5的参数量约6万个，模型大小约240KB（浮点格式），非常适合在STM32等MCU上运行。

在STM32CubeAI中部署LeNet-5时，即使不进行量化，模型也能在STM32F4系列上以较低延迟运行。例如，在STM32F407（168MHz）上，LeNet-5的单次推理时间约为50~100ms，Flash占用约250KB，RAM占用约50KB。这使得LeNet-5成为MCU上图像分类任务的入门首选。

3.3.2 MobileNetV2：轻量级网络的代表

MobileNetV2由Google于2018年提出，专为移动端和嵌入式设备设计。其核心创新是深度可分离卷积（Depthwise Separable Convolution）和倒残差结构（Inverted Residual Block）。深度可分离卷积将标准卷积分解为深度卷积（Depthwise Convolution）和逐点卷积（Pointwise Convolution），参数量约为标准卷积的1/9。

MobileNetV2的输入为224×224×3图像，参数量约350万，模型大小约14MB（浮点格式）。经过INT8量化后，模型可压缩至约3.5MB，但仍超出STM32F4系列的Flash容量。因此，在STM32上部署MobileNetV2通常需要进一步裁剪或使用更小的输入尺寸（如128×128）。

模型	参数量	浮点模型大小	INT8量化后	STM32F4可行性	典型推理延迟
LeNet-5	6万	240KB	60KB	✅ 完全可行	50~100ms
MobileNetV2	350万	14MB	3.5MB	⚠️ 需裁剪	1~3s
ResNet-18	1100万	44MB	11MB	❌ 资源不足	5s以上

3.3.3 ResNet：残差学习解决深层网络退化

ResNet（Residual Network）由Kaiming He等人于2015年提出，通过引入残差块（Residual Block）解决了深层网络的梯度消失和退化问题。残差块的核心思想是让网络学习残差映射F(x)=H(x)-x，而不是直接学习原始映射H(x)。这种跳跃连接（Skip Connection）使得梯度可以跨层传播，从而训练出上百层的深度网络。

ResNet-18是ResNet系列中最轻量的版本，包含18个卷积层，参数量约1100万。尽管ResNet-18在ImageNet上取得了优异的精度，但其模型大小和计算量对于STM32来说仍然过大。在STM32H7系列（2MB Flash，1MB RAM）上，ResNet-18经过INT8量化后勉强可以运行，但推理延迟可能达到数秒，实用性有限。

3.4 模型选型决策与STM32部署适配

3.4.1 选型决策框架

在STM32平台上选择图像识别模型时，需要综合考虑以下因素：任务复杂度（类别数量、图像差异度）、硬件资源（Flash、RAM、CPU频率）、实时性要求（帧率）和精度要求。建议按照以下决策路径进行选择：

1. 评估任务复杂度：若为简单任务（如MNIST、二分类），直接选择LeNet-5或自定义小型CNN；若为中等复杂度任务（如10~100类物体识别），考虑MobileNetV2或MobileNetV3-Small；若为高复杂度任务（如1000类ImageNet），则需评估STM32H7系列或考虑使用外部存储。
2. 计算资源预算：根据STM32型号的Flash和RAM容量，估算模型可用的最大参数量。例如，STM32F407（512KB Flash）在系统占用200KB后，留给模型的Flash空间约300KB，对应浮点模型参数量约75万。
3. 量化策略选择：优先使用INT8量化，可将模型体积缩小4倍，推理速度提升2~4倍。若精度损失过大，可尝试INT16量化或混合精度。
4. 实测验证：在STM32开发板上运行转换后的模型，测量实际推理延迟和内存占用，与理论估算对比，必要时进行模型裁剪或网络结构搜索。

3.4.2 案例拆解：基于STM32F407的口罩佩戴检测模型选型

项目背景：某智能门禁系统需要在STM32F407ZGT6（168MHz，512KB Flash，192KB RAM）上实现口罩佩戴检测功能，要求识别准确率≥90%，单次推理延迟≤500ms。

初始方案：团队最初尝试使用MobileNetV2作为骨干网络，输入尺寸224×224。在PC端训练后，模型准确率达到95.2%，但转换为INT8量化后模型大小为3.5MB，远超STM32F407的Flash容量。即使将输入尺寸缩小至128×128，模型仍有1.2MB，且推理延迟超过2秒。

分析过程：经过分析，团队发现MobileNetV2的倒残差结构虽然高效，但深层特征图的通道数较多，导致模型体积仍然偏大。同时，STM32F407的Cortex-M4内核不支持硬件浮点加速，INT8量化虽然减小了模型体积，但推理速度提升有限。

调整方案：团队决定采用以下优化策略：

• 将输入尺寸缩小至96×96，减少计算量约5倍；
• 使用知识蒸馏技术，将MobileNetV2的知识迁移至一个自定义的小型CNN（3个卷积层+2个全连接层，参数量约20万）；
• 采用量化感知训练，在训练过程中模拟INT8量化误差；
• 最终模型INT8量化后大小为80KB，Flash占用满足要求。

结果对比：优化后的模型在测试集上准确率为91.3%，略低于MobileNetV2的95.2%，但满足90%的指标要求。单次推理延迟为180ms，远低于500ms的约束。RAM峰值占用为45KB，留有充足余量。

复盘经验：在MCU上部署图像识别模型时，不应盲目追求高精度模型，而应根据硬件资源进行针对性设计。知识蒸馏和输入尺寸优化是两种非常有效的模型压缩手段，值得在嵌入式AI项目中优先考虑。

3.4.3 常见误区与总结