3、AI模型基础：了解神经网络模型（Keras/TFLite/ONNX）的基本结构、输入输出张量、量化与浮点精度的概念

在进入STM32Cube.AI部署流程之前，必须先建立对AI模型本体的清晰认知。STM32Cube.AI本质上是一个模型转换与优化工具链，它接收来自TensorFlow/Keras、TFLite或ONNX等框架的模型文件，将其转换为可在Cortex-M内核上高效运行的C代码。如果对模型的基本结构、张量语义、精度表示缺乏理解，后续的模型导入、层支持分析、内存估算和性能调优都将无从下手。本章将系统梳理神经网络模型的核心概念，重点聚焦于部署工程师最关心的三个维度：模型文件的组织方式、输入输出张量的物理含义、以及浮点与量化精度的工程取舍。

上图展示了模型部署中三个核心概念之间的逻辑关系：模型文件格式决定了STM32Cube.AI的解析入口；输入输出张量定义了模型与外部世界的数据交换契约；数值精度则直接影响模型在MCU上的资源消耗与推理精度。三者相互关联，共同决定了部署方案的可行性与效率。

3.1 神经网络模型的基本结构与文件格式

核心原理：从计算图到序列化文件

神经网络模型本质上是一个有向无环图（DAG），图中的节点代表算子（如卷积、池化、全连接、激活函数），边代表张量数据的流动。训练完成后，模型文件需要同时保存两部分信息：结构定义（网络有多少层、每层类型、连接方式、超参数）和权重参数（卷积核数值、偏置项、BatchNorm的均值和方差等）。

Keras的.h5文件采用HDF5格式，内部以层级目录存储模型架构JSON、权重数组和训练配置。TFLite文件则使用FlatBuffers序列化格式，将计算图、算子代码和权重打包为单一二进制文件，特别适合移动端和嵌入式端加载。ONNX（Open Neural Network Exchange）采用Protobuf格式，旨在提供跨框架的互操作性，其节点定义更加底层和通用。

判断方法：如何快速识别模型文件类型

• 扩展名与工具链：.h5/.keras对应Keras；.tflite对应TensorFlow Lite；.onnx对应ONNX Runtime。STM32Cube.AI的导入界面会明确列出支持的格式版本。
• 文件大小特征：FP32模型的权重占4字节/参数，INT8量化模型占1字节/参数。一个100万参数的模型，FP32约4MB，INT8约1MB。
• 元数据检查：使用Python加载模型后，通过model.summary()（Keras）或interpreter.get_tensor_details()（TFLite）查看层列表和张量信息。

案例拆解：一个典型CNN分类模型的解剖

假设我们有一个用于工业缺陷检测的Keras模型，输入为64×64×3的RGB图像，包含3个卷积块和2个全连接层，输出为10个类别。该模型的结构定义如下：

Layer (type)                 Output Shape              Param #
=================================================================
conv2d (Conv2D)              (None, 64, 64, 16)        448
max_pooling2d (MaxPooling2D) (None, 32, 32, 16)        0
conv2d_1 (Conv2D)            (None, 32, 32, 32)        4640
max_pooling2d_1 (MaxPooling) (None, 16, 16, 32)        0
flatten (Flatten)            (None, 8192)              0
dense (Dense)                (None, 128)               1,048,704
dense_1 (Dense)              (None, 10)                1290
=================================================================
Total params: 1,055,082
Trainable params: 1,055,082
Non-trainable params: 0

在部署到STM32之前，我们需要关注几个关键点：输入形状中的None代表batch维度，在MCU推理时通常固定为1；Flatten层在嵌入式端可能被优化为reshape操作；Dense层的参数量占据了模型总参数的99%以上，这提示我们可能需要考虑量化或模型裁剪。

常见误区与总结

3.2 输入输出张量：模型与外部世界的数据契约

核心原理：张量的维度与数据布局

张量（Tensor）是多维数组的数学抽象。在图像模型中，输入张量通常为4维：[Batch, Height, Width, Channel]（即NHWC布局，TensorFlow默认）或[Batch, Channel, Height, Width]（即NCHW布局，PyTorch默认）。STM32Cube.AI对两种布局均支持，但内部会统一转换为高效的内存排列方式。

输出张量的形状取决于任务类型：分类任务输出为[1, NumClasses]的得分向量；目标检测任务可能输出多个张量（边界框坐标、置信度、类别概率）；语义分割任务输出与输入同分辨率的类别图。理解输出张量的语义是编写后处理代码的前提。

操作流程：在STM32Cube.AI中验证张量契约

1. 在STM32Cube.AI的模型分析页面，查看Input/Output Details面板，确认输入张量的形状、数据类型和数据排列方式。
2. 对比训练时的预处理流程（如归一化系数、通道顺序RGB/BGR、缩放因子），确保MCU端的数据预处理与训练时一致。
3. 使用STM32Cube.AI提供的验证工具，输入一组已知的测试数据，对比PC端模型输出与MCU端生成代码的输出，误差应在预设阈值内。

实战场景：图像分类模型的输入输出处理

以MobileNetV2模型为例，其标准输入为224×224×3的浮点图像，像素值归一化到[-1, 1]。在STM32上，我们通常从摄像头获取RGB565或YUV422格式的图像数据。部署时需要在MCU端完成以下转换：

// 伪代码示例：将RGB565转换为模型所需的float32输入
for (int i = 0; i < 224*224; i++) {
    uint16_t pixel = rgb565_buffer[i];
    uint8_t r = (pixel >> 11) & 0x1F;
    uint8_t g = (pixel >> 5) & 0x3F;
    uint8_t b = pixel & 0x1F;
    // 5位/6位扩展到8位
    r = (r << 3) | (r >> 2);
    g = (g << 2) | (g >> 4);
    b = (b << 3) | (b >> 2);
    // 归一化到[-1, 1]
    input_tensor[i*3+0] = (r / 255.0f - 0.5f) * 2.0f;
    input_tensor[i*3+1] = (g / 255.0f - 0.5f) * 2.0f;
    input_tensor[i*3+2] = (b / 255.0f - 0.5f) * 2.0f;
}

输出张量是一个包含1000个浮点数的向量（ImageNet类别数）。后处理时，我们需要找到最大值的索引，并映射到具体的类别标签。如果使用量化模型，输出张量可能是int8类型，需要乘以缩放系数并加上零点偏移才能还原为浮点得分。

常见误区与总结

3.3 量化与浮点精度：MCU部署的精度-资源权衡

核心原理：浮点与整型数值表示

神经网络训练通常使用FP32（32位浮点数），提供约7位十进制有效数字的精度。但Cortex-M4/M7内核虽然支持FP32运算，其处理速度远低于整数运算，且Flash/RAM占用较大。FP16（16位半精度）可减少一半存储，但部分MCU内核不支持原生FP16计算，需要软件转换。INT8量化则将权重和激活值映射到[-128, 127]的整数范围，配合缩放因子（scale）和零点（zero point）实现近似计算。

量化的核心公式为：real_value = (int8_value - zero_point) × scale。在推理时，卷积运算变为整数乘加运算，可充分利用Cortex-M内核的DSP指令（如SMLAD）实现加速。

判断方法：选择浮点还是量化

案例拆解：量化感知训练与后训练量化

某工业声学故障检测模型，原始FP32模型大小为3.8MB，在STM32H743上推理耗时420ms，RAM占用280KB。采用后训练量化（Post-Training Quantization, PTQ）后，模型大小降至950KB，推理耗时降至135ms，RAM占用降至72KB。但精度从97.2%降至94.8%，对于故障检测场景，2.4%的准确率下降不可接受。

随后改用量化感知训练（Quantization-Aware Training, QAT），在训练过程中模拟量化误差，最终模型精度恢复至96.9%，仅下降0.3%。QAT的代价是需要重新训练模型，且训练时间增加约30%。在STM32Cube.AI中，我们可以直接导入QAT产出的TFLite模型，工具链会自动识别量化参数。

常见误区与总结