嵌入式AI基础：神经网络模型在MCU上的运行原理、RAM与Flash的职责划分、典型STM32 AI应用场景
在进入STM32Cube AI的RAM优化实战之前，必须先建立对嵌入式AI运行机制的底层认知。很多工程师在部署模型时，往往只关注推理精度，却忽略了MCU上内存架构与执行流程对模型性能的决定性影响。本章将拆解神经网络在Cortex-M内核上的运行原理，明确Flash与RAM各自的职责边界，并结合典型场景说明为何“内存估算”是嵌入式AI工程化的第一道关卡。
上图展示了STM32上神经网络推理的核心数据流。左侧Flash区域存储的是静态信息——模型权重、网络拓扑描述、激活函数查找表以及CubeAI自动生成的C代码；右侧RAM区域则是动态运行空间——输入输出张量缓冲区、中间特征图以及运行时变量。CPU在推理过程中，一边从Flash读取权重和指令，一边在RAM中反复读写张量数据。这种“Flash管存、RAM管算”的协作模式，决定了模型部署时的内存估算必须同时考虑两个维度。
2.1 神经网络在MCU上的运行原理
与PC或服务器不同，MCU没有操作系统级别的虚拟内存管理，所有数据都直接映射在物理地址空间上。神经网络推理在MCU上的执行，本质上是一个逐层前向传播的过程：从输入张量开始，依次经过卷积、池化、全连接、激活等算子，最终产生输出张量。每一层算子都遵循“读取输入→计算→写入输出”的固定模式，而中间层产生的特征图数据，必须暂存在RAM中供下一层使用。
以STM32F4系列（Cortex-M4F内核）为例，其支持FPU（浮点运算单元）和DSP指令集，可以加速float32类型的矩阵运算。但CubeAI在部署时，往往会将模型量化到int8或uint8，以换取更小的Flash占用和更快的推理速度。量化后的推理流程变为：反量化输入→整数运算→再量化输出，这要求RAM中同时保留原始输入、反量化后的临时值以及量化后的输出，进一步增加了内存管理的复杂度。
核心要点：MCU上的神经网络推理是“数据搬运密集型”任务。CPU的计算速度通常不是瓶颈，真正的瓶颈在于内存带宽——即从Flash读取权重、从RAM读写特征图的速度。因此，优化RAM占用的本质，是减少中间数据的存储量和搬运次数。
2.2 Flash与RAM的职责划分
在STM32Cube AI生成的工程中，Flash和RAM的职责边界非常清晰。下表总结了二者的核心差异：
| 维度 | Flash（非易失） | RAM（易失） |
|---|---|---|
| 存储内容 | 模型权重、网络结构描述、激活函数表、CubeAI生成的代码段 | 输入/输出张量缓冲区、中间特征图、运行时变量、堆栈 |
| 容量典型值 | 512KB ~ 2MB（STM32F4/H7系列） | 128KB ~ 512KB（同系列） |
| 访问速度 | 读取快，但写入极慢（需擦除） | 读写均快，但掉电丢失 |
| 生命周期 | 静态分配，编译时确定 | 动态分配，运行时变化 |
| 优化目标 | 减少权重存储（量化、剪枝） | 减少峰值内存（张量复用、内存池） |
在实际工程中，Flash的占用相对容易估算——它主要由模型权重和代码段决定。而RAM的估算则复杂得多，因为中间特征图的大小随网络深度动态变化。例如，一个输入为32×32×3的图像，经过第一层16个3×3卷积核后，输出特征图变为32×32×16，如果使用float32存储，这一层就需要32×32×16×4 = 64KB的RAM。而整个网络的峰值RAM，取决于所有层中“同时存活”的最大张量集合。
常见误区：很多开发者误以为“模型参数量小，RAM占用就小”。实际上，中间特征图往往比权重更占RAM。一个仅有几千参数的轻量网络，如果输入分辨率较高，其激活值可能轻松超过100KB。RAM估算必须逐层分析张量生命周期，而非简单累加权重。
2.3 典型STM32 AI应用场景与内存约束
STM32的AI应用主要集中在端侧推理场景，即数据在传感器端采集后，直接在MCU上完成推理，无需上传云端。以下是三类典型场景及其内存特征：
场景一：关键词唤醒（KWS）
在智能家居设备中，MCU需要持续监听麦克风信号，检测特定的唤醒词。这类模型通常采用小型CNN或DS-CNN（深度可分离卷积网络），输入为40ms的MFCC特征（如10×40的二维特征图）。模型参数量约50KB（int8量化后），但推理时需要在RAM中缓存音频帧缓冲区和特征提取中间结果，峰值RAM约30-50KB。由于设备常驻供电，对功耗不敏感，但对实时性要求高——推理必须在100ms内完成。
场景二：工业振动故障诊断
在预测性维护系统中，STM32通过加速度传感器采集振动信号，使用1D-CNN或LSTM模型判断设备状态。输入为1024个采样点（float32），模型参数量约200KB，但RAM峰值可能达到150KB以上，因为需要同时保存原始信号窗口、多个卷积层的特征图以及时序状态。这类场景对可靠性要求极高，RAM溢出会导致系统死机，因此必须预留20%以上的内存余量。
场景三：视觉缺陷检测
在简单的视觉检测任务中（如识别传送带上的零件是否缺失），STM32H7系列可运行MobileNet等轻量网络。输入图像为96×96×3（RGB），模型参数量约500KB（int8），但RAM峰值可能超过300KB——因为第一层卷积的输出特征图就达到96×96×16×1字节（int8）= 144KB。这类场景对内存优化的需求最为迫切，通常需要采用张量复用和内存池技术。
经验法则：在STM32上部署AI模型时，先估算RAM峰值，再考虑Flash。如果RAM峰值超过芯片可用RAM的70%，建议优先优化网络结构（减少通道数或降低输入分辨率），而非盲目增加外部SRAM——因为外部总线访问速度远低于内部RAM，会显著拖慢推理速度。
2.4 案例拆解：从模型到内存映射的完整分析
下面通过一个具体的案例，演示如何从模型结构推导出RAM和Flash的占用。假设我们要在STM32L4系列（192KB RAM，1MB Flash）上部署一个简单的二分类CNN模型：
输入层: 28×28×1 (灰度图像)
卷积层1: 8个3×3卷积核, padding='same' → 输出 28×28×8
池化层1: 2×2最大池化 → 输出 14×14×8
卷积层2: 16个3×3卷积核, padding='same' → 输出 14×14×16
池化层2: 2×2最大池化 → 输出 7×7×16
全连接层: 64个神经元
输出层: 2个神经元 (Softmax)Step 1：Flash占用估算
- 卷积层1权重：8×3×3×1 = 72个参数
- 卷积层2权重：16×3×3×8 = 1152个参数
- 全连接层权重：7×7×16×64 = 50176个参数
- 输出层权重：64×2 = 128个参数
- 总参数量：51528个参数
若使用int8量化，Flash占用约51528字节 ≈ 50KB；若使用float32，则占用约206KB。加上代码段和激活函数表，总Flash占用约60KB（int8）或220KB（float32）。
Step 2：RAM峰值估算
推理过程中，各层输出张量大小如下：
| 层 | 输出尺寸 | int8占用 | float32占用 |
|---|---|---|---|
| 输入 | 28×28×1 | 784 B | 3.1 KB |
| 卷积层1 | 28×28×8 | 6.2 KB | 25 KB |
| 池化层1 | 14×14×8 | 1.5 KB | 6.1 KB |
| 卷积层2 | 14×14×16 | 3.1 KB | 12.5 KB |
| 池化层2 | 7×7×16 | 0.8 KB | 3.1 KB |
| 全连接层 | 64 | 64 B | 256 B |
| 输出层 | 2 | 2 B | 8 B |
如果采用朴素实现（每层分配独立缓冲区），峰值RAM出现在卷积层1输出与卷积层2输出同时存在的时刻，约为6.2 + 3.1 + 输入0.8 = 10.1KB（int8）。但CubeAI默认采用内存池复用策略——卷积层1的输出在池化层1计算完成后即可释放，因此实际峰值仅为max(6.2, 3.1, 0.8) + 输入0.8 ≈ 7KB（int8）。
Step 3：结果对比与决策
在STM32L4上，int8量化后的模型总占用为Flash 60KB + RAM 7KB，远低于芯片容量，可以轻松部署。但如果改用float32，Flash占用220KB + RAM 25KB，虽然仍在容量范围内，但推理速度会因FPU负载增加而下降约30%。最终选择int8量化，并启用CubeAI的内存池优化选项，将RAM占用进一步压缩至5.2KB。
案例复盘：这个案例揭示了三个关键经验：第一，量化是Flash优化的首选手段，int8相比float32可减少75%的权重存储；第二，内存池复用是RAM优化的核心机制，通过分析张量生命周期，可以避免为每层单独分配缓冲区；第三，输入分辨率对RAM的影响呈平方级增长，如果输入从28×28改为56×56，卷积层1的输出将变为24.8KB（int8），RAM占用会翻4倍。
2.5 常见误区与总结复盘
在嵌入式AI的入门阶段，工程师常犯以下错误，这里逐一澄清：
误区一：忽略中间特征图的RAM占用。只计算权重大小，导致RAM溢出。实际上，对于大多数CNN模型，中间特征图的RAM占用是权重的2-5倍。
误区二：盲目使用float32。虽然STM32F4/H7系列有FPU，但float32推理会消耗更多Flash和RAM，且推理速度未必比int8快——因为内存带宽瓶颈依然存在。
误区三：不检查CubeAI的内存报告。CubeAI在生成代码时会输出详细的内存估算报告，但很多开发者直接忽略。这份报告是优化RAM的第一手依据。
总结复盘：本章的核心知识可以归纳为三点：
- 运行原理：MCU上的神经网络推理是逐层前向传播，数据在Flash（权重）和RAM（张量）之间反复搬运，内存带宽决定推理速度。
- 职责划分：Flash负责静态存储（权重、代码），RAM负责动态运行（输入输出、中间特征图、变量）。RAM优化比Flash优化更关键，因为RAM容量更小且影响实时性。
- 场景约束：KWS、工业诊断、视觉检测等典型场景对内存的需求差异巨大，但共同点是必须预留安全余量，避免极端情况下的内存溢出。