3、AI模型基础：神经网络基本概念、常见模型结构（CNN、RNN、Transformer）、模型量化与压缩基础，以及边缘部署的挑战

在进入STM32Cube AI工具链之前，必须先建立对AI模型本身的系统性认知。STM32Cube.AI本质上是一个模型转换与优化引擎，它接收来自Keras、PyTorch、TensorFlow Lite等框架训练好的模型，将其转换为可在Cortex-M内核上高效运行的C代码。如果对模型结构、数值精度、算子类型缺乏理解，后续的转换失败、推理精度下降、内存溢出等问题将难以定位。本章将围绕神经网络的核心概念、三大主流模型结构、量化与压缩方法，以及边缘部署的工程约束展开，为后续章节的模型转换与板级调试打下理论基础。

3.1 神经网络基本概念：从神经元到损失函数

神经网络的核心是模拟生物神经元的计算单元。一个典型的神经元接收多个输入 \(x_1, x_2, ..., x_n\)，每个输入乘以对应的权重 \(w_1, w_2, ..., w_n\)，加上偏置 \(b\)，再经过一个非线性激活函数 \(f\)，产生输出 \(y = f(\sum_{i=1}^{n} w_i x_i + b)\)。在STM32部署场景中，这个计算过程会被映射为C语言中的乘加运算（MAC）和查找表（LUT）或近似函数。

核心原理：前向传播与反向传播

前向传播是输入数据从输入层经过隐藏层到输出层的过程，每一层执行线性变换加激活函数。反向传播则是训练阶段根据损失函数计算梯度，通过链式法则逐层更新权重。在边缘部署时，我们只关心前向传播，因为STM32Cube.AI生成的代码只包含推理过程，不包含训练逻辑。但理解反向传播有助于判断模型是否过拟合或欠拟合，从而决定是否需要剪枝或量化。

判断方法：模型复杂度评估指标

• 参数量（Parameters）：权重和偏置的总数，直接决定Flash占用。例如一个全连接层输入256、输出128，参数量为 \(256 \times 128 + 128 = 32896\)，约32K个float32参数，占用128KB Flash。
• 计算量（FLOPs/MACs）：乘加运算次数，决定推理延迟。STM32F4系列主频168MHz，每秒可执行约168M次MAC（理论峰值），实际利用率约30%-50%。
• 激活值内存（Activation Memory）：中间特征图的大小，决定RAM占用。例如输入图像 \(32 \times 32 \times 3\)，经过16个3x3卷积核后，特征图变为 \(32 \times 32 \times 16\)，激活值内存为16384个float32，即64KB。

案例拆解：一个简单的全连接网络部署评估

假设我们有一个用于手势识别的全连接网络：输入层784（28x28图像），隐藏层128，输出层10。参数量为 \(784 \times 128 + 128 + 128 \times 10 + 10 = 101,770\)，约0.4MB（float32）。激活值内存为 \(784 + 128 + 10 = 922\) 个float32，约3.7KB。在STM32F401（Flash 512KB，RAM 96KB）上，Flash占用0.4MB可以接受，但若使用float32，RAM占用很小。实际推理延迟约为 \(101,770 \times 2\)（乘加各一次）÷ 168MHz ≈ 1.2ms，完全满足实时性要求。但如果换成CNN，参数量可能达到数MB，就需要量化到INT8。

常见误区

3.2 常见模型结构：CNN、RNN与Transformer

不同模型结构对应不同的数据类型和任务。STM32Cube.AI对CNN支持最成熟，RNN次之，Transformer在部分STM32N6系列上开始支持。理解每种结构的计算特征，有助于选择合适的模型架构。

核心原理：三种结构的计算模式

• CNN（卷积神经网络）：通过卷积核在空间维度上滑动提取局部特征。核心操作是二维卷积，计算量为 \(输出通道 \times 输入通道 \times 卷积核高 \times 卷积核宽 \times 输出特征图高 \times 输出特征图宽\)。CNN适合图像、振动波形、雷达信号等网格状数据。
• RNN（循环神经网络）：通过隐藏状态在时间维度上传递信息。核心操作是矩阵乘法和逐元素激活，计算量为 \(输入维度 \times 隐藏维度 + 隐藏维度^2\)。RNN适合时间序列，但存在梯度消失问题，实际常用LSTM/GRU变体。
• Transformer：通过自注意力机制建模全局依赖。核心操作是Query-Key-Value矩阵乘法和Softmax，计算量为 \(序列长度^2 \times 特征维度\)。Transformer适合自然语言处理、长序列信号，但计算量和内存消耗大。

判断方法：如何选择模型结构

1. 数据类型：图像/频谱图 → CNN；一维时序 → RNN或1D-CNN；文本/长序列 → Transformer。
2. 实时性要求：若要求<10ms推理，优先选CNN（并行度高）；RNN因时间步串行，延迟较高。
3. 内存预算：STM32F4系列RAM通常≤192KB，若激活值超过RAM，需降低输入分辨率或减少通道数。
4. 算子兼容性：在STM32Cube.AI中，Conv2D、Dense、LSTM支持良好，但MultiHeadAttention在部分型号上不支持，需改用TFLite转换或手动实现。

案例拆解：CNN在STM32上的内存规划

以MobileNetV1为例，输入224x224x3，宽度乘数0.25（即通道数缩小4倍）。参数量约0.5M（float32为2MB），激活值峰值约1.5MB（在第一个深度可分离卷积处）。在STM32H743（Flash 2MB，RAM 1MB）上，float32模型无法直接部署。解决方案：
1. 将输入分辨率降至128x128，激活值降至约0.5MB；
2. 使用INT8量化，参数量降至0.5MB，激活值降至0.125MB；
3. 最终模型Flash占用0.6MB，RAM占用0.2MB，推理延迟约80ms（STM32H7 @480MHz）。

常见误区

3.3 模型量化与压缩：从FP32到INT8

量化是将浮点模型转换为低精度整数模型的过程。STM32Cube.AI支持FP32、FP16（部分型号）、INT8和INT16量化。量化的核心是确定缩放因子（scale）和零点（zero point），将浮点数值映射到整数范围。

核心原理：线性量化与校准

线性量化公式为 \(q = round(\frac{r}{scale}) + zero\_point\)，其中 \(r\) 是浮点值，\(q\) 是量化后的整数，\(scale = \frac{r_{max} - r_{min}}{q_{max} - q_{min}}\)。校准过程需要输入代表性数据集（通常100-500张图片），统计每层激活值的动态范围。STM32Cube.AI在转换时会自动执行校准，但用户需要提供校准数据。

操作流程：量化步骤

1. 准备校准数据集：从训练集中随机选取100-200个样本，覆盖各类别。
2. 在STM32Cube.AI中配置量化：选择"Quantization"选项，设置精度为INT8。
3. 运行校准：工具会前向传播校准数据，记录每层激活值的min/max。
4. 评估精度：使用验证集对比量化前后模型的准确率。
5. 调整策略：若精度下降过多，可尝试per-channel量化（对权重按通道量化）或混合精度（敏感层保留FP32）。

案例拆解：INT8量化在STM32F746上的实践

某工业视觉项目使用ResNet-18进行零件分类，输入224x224x3。原始FP32模型：参数量11.2M（44.8MB Flash），激活值峰值约4MB RAM。在STM32F746（Flash 1MB，RAM 320KB）上无法部署。通过以下步骤实现部署：
1. 将ResNet-18替换为ResNet-18宽度乘数0.5，参数量降至2.8M（11.2MB）；
2. 使用INT8 per-channel量化，Flash降至2.8MB；
3. 进一步剪枝（移除30%不重要的通道），Flash降至1.8MB；
4. 输入分辨率降至160x160，激活值降至1.2MB，通过内存复用优化后RAM占用0.8MB（超出320KB）。
最终方案：改用MobileNetV2宽度乘数0.5，INT8量化后Flash 0.9MB，RAM 0.3MB，精度从98.2%降至96.8%，满足生产要求。

常见误区

3.4 边缘部署的挑战：内存、算力与功耗的平衡

边缘部署与云端部署的本质区别在于资源约束。STM32系列MCU的Flash通常为64KB-2MB，RAM为32KB-1MB，主频为80-550MHz。这些约束决定了模型设计、转换和调试的每一个环节。

核心原理：三大约束的相互作用

• 内存墙：模型权重和激活值必须同时放入Flash和RAM。Flash存储权重，RAM存储激活值和中间变量。如果RAM不足，需要将部分层的结果暂存到外部SRAM或Flash，但会显著降低速度。
• 算力墙：MCU的MAC吞吐量有限。STM32F4系列（168MHz）理论峰值168MMAC/s，实际约50-80MMAC/s。一个1M MACs的模型需要约12-20ms推理时间。
• 功耗墙：边缘设备通常电池供电，推理时的功耗与主频、外设使用相关。降低主频可减少功耗，但增加延迟。

判断方法：部署可行性评估流程

1. 计算Flash占用：参数量 × 量化位数 / 8。例如1M参数，INT8为1MB，FP32为4MB。
2. 计算RAM峰值：最大激活值 + 权重缓冲 + 中间变量。使用STM32Cube.AI的"Memory Estimation"功能。
3. 估算推理时间：MACs / 实际吞吐率。实际吞吐率可通过STM32Cube.AI的"Benchmark"功能获得。
4. 检查外设需求：传感器数据采集、通信接口（UART/SPI）是否与推理时间冲突。

案例拆解：关键词唤醒（KWS）模型部署

目标：在STM32L4（Flash 512KB，RAM 128KB，主频80MHz）上部署关键词"Hey STM32"唤醒模型。初始方案：使用LSTM（隐藏层128），参数量约200K（FP32为800KB），激活值约2KB。Flash超出512KB限制。优化过程：
1. 将LSTM替换为1D-CNN（3层卷积，核大小3），参数量降至80K（FP32为320KB）；
2. 使用INT8量化，Flash降至80KB；
3. 输入特征使用40维MFCC（20ms帧，10ms步长），序列长度50，激活值约 \(40 \times 50 \times 16 = 32KB\)；
4. 最终模型Flash 85KB，RAM 40KB，推理延迟约35ms（80MHz下），满足实时唤醒需求。
复盘：LSTM虽然精度略高（98.5% vs 97.8%），但Flash占用过大且延迟高（120ms）。1D-CNN在精度和资源间取得了更好平衡。

常见误区