2、TinyML基础回顾：掌握TinyML在STM32上的部署流程、典型模型结构、量化与剪枝等关键概念
TinyML 是将机器学习模型部署到资源受限的微控制器（MCU）上的工程实践。STM32 作为全球出货量最大的 MCU 家族之一，其从 Cortex-M0+ 到 Cortex-M7 乃至 M33 的丰富产品线，为 TinyML 提供了从传感器信号处理到轻量级视觉识别的广阔舞台。在进入量产检查之前，我们必须先建立一套统一的语言体系：理解模型是如何从 PC 端的浮点世界“降维”到 MCU 的整数世界，以及在这个过程中哪些环节最容易引入稳定性风险。本章将围绕部署流程、典型模型结构与量化剪枝三大核心，为后续的资源预算与测试报告打下理论基础。
上图展示了 TinyML 从训练到硬件验证的完整闭环。注意其中“模型优化”与“转换部署”并非线性关系，而是需要根据硬件反馈反复迭代。量产检查的核心，就是确保这个闭环中的每一个环节都具备可重复性和可测试性。
2.1 部署流程：从浮点模型到 MCU 可执行代码
核心原理：STM32 上部署 TinyML 模型，本质上是将训练好的浮点权重和激活函数映射到有限的 Flash 和 RAM 中，并利用 Cortex-M 内核的 DSP 指令（如 SIMD、饱和运算）加速推理。STM32Cube.AI 工具链（X-CUBE-AI）会将 Keras/TFLite/ONNX 模型解析为针对特定芯片优化的 C 代码，其内部通过 CMSIS-NN 库调用硬件加速单元。
标准部署流程（以 STM32Cube.AI 为例）：
- 模型准备：使用 Keras 或 PyTorch 训练模型，导出为 .h5 或 .tflite 格式。此时模型为 FP32 精度。
- 模型分析与优化：在 Cube.AI 中加载模型，工具会报告 Flash/RAM 占用预估。若超出目标芯片容量，需进行量化或剪枝。
- 生成代码：Cube.AI 生成
network.c、network_data.c和network.h。其中权重数据以 C 数组形式存储，激活缓冲区在network_data.c中静态分配。 - 集成与编译：在 STM32CubeIDE 中调用生成的 API（如
ai_run()），将输入数据从传感器缓冲区拷贝到模型输入张量，执行推理，读取输出。 - 硬件验证：通过串口或 JTAG 打印推理结果，与 PC 端输出对比。
--allocate-inputs 和 --allocate-outputs 选项，可以让工具自动管理输入输出缓冲区，避免手动内存拷贝带来的额外 RAM 开销。对于量产固件，建议将模型权重放置在 Flash 的专用段（如 .model_weights），便于后续 OTA 升级时单独校验 CRC。
| 部署阶段 | 关键工具 | 输出产物 | 常见问题 |
|---|---|---|---|
| 模型训练 | Keras / PyTorch | FP32 权重文件 | 过拟合导致泛化差 |
| 模型转换 | TFLite Converter | .tflite 文件 | 算子不支持（如 LSTM） |
| MCU 映射 | STM32Cube.AI | C 代码 + 权重数组 | RAM 溢出 / Flash 超限 |
| 板级验证 | CubeIDE + 调试器 | 固件 .hex / .bin | 推理结果 NaN / 精度下降 |
2.2 典型模型结构：适合 STM32 的轻量化网络
核心原理：STM32 的算力范围大致在 10~200 MACs/cycle（Cortex-M7 带 DSP 指令），Flash 通常为 256KB~2MB。因此，适合部署的模型必须严格控制参数量和计算量。主流选择包括：
- 深度可分离卷积网络（MobileNetV1/V2）：将标准卷积拆分为深度卷积和逐点卷积，计算量降低 8~9 倍。V2 引入倒残差结构，更适合低算力平台。
- 经典小型 CNN：如 3~5 层卷积 + 全连接，用于关键词识别（KWS）或简单手势分类。参数量可控制在 50KB 以内。
- 决策树集成 / 随机森林：对于表格型传感器数据（如振动分析），树模型在 STM32 上可通过查表法实现，无需乘法运算，速度极快。
- 异常检测自编码器：用于工业预测性维护，输入为振动频谱，输出为重构误差。通常只需 2~3 层全连接。
判断方法：在选型时，先计算模型的 MACs（乘加次数）和参数量。STM32F4 系列（168MHz）大约每秒可执行 100~200M MACs（理论峰值），实际利用率约 30~50%。若模型需要 10M MACs，则单次推理约需 0.1~0.2 秒，适合 5Hz 以下的控制闭环。
2.3 量化：从 FP32 到 INT8 的精度与性能权衡
核心原理：量化是将 32 位浮点权重和激活映射到 8 位整数（或 16 位定点）的过程。STM32 的 FPU 支持单精度浮点，但整数运算（特别是 SIMD 指令）在相同时钟频率下吞吐量更高，且内存占用减少 4 倍。量化分为两种：
- 训练后量化（PTQ）：使用校准数据集统计激活值的动态范围，计算缩放因子（scale）和零点（zero_point）。无需重新训练，但精度损失较大（通常 1~3%）。
- 量化感知训练（QAT）：在训练过程中模拟量化误差，通过直通估计器（STE）反向传播。精度损失可控制在 0.5% 以内，但需要重新训练。
操作流程（以 PTQ 为例）：
# 1. 加载训练好的 Keras 模型
model = tf.keras.models.load_model('model_fp32.h5')
# 2. 准备校准数据集（约 100~500 张代表性样本）
calib_ds = get_calibration_dataset()
# 3. 使用 TFLite 转换器进行 INT8 量化
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = calib_ds
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
tflite_model = converter.convert()
# 4. 保存量化模型
with open('model_int8.tflite', 'wb') as f:
f.write(tflite_model)案例拆解：某工业声学故障检测项目，原始 CNN 模型为 6 层卷积，FP32 精度 97.2%。部署到 STM32F746（1MB Flash）时，模型权重占用 780KB，超出可用空间。采用 PTQ 量化后，权重降至 195KB，Flash 占用满足要求。但精度降至 94.8%，误报率上升。进一步分析发现，第一层卷积的激活值分布存在长尾效应，部分通道的 scale 过大导致信息丢失。解决方案：对第一层保留 FP16 精度（STM32F7 支持半精度），其余层使用 INT8，最终精度恢复至 96.5%，Flash 占用 230KB，推理时间从 120ms 降至 45ms。
| 量化方案 | 权重大小 | 推理时间 | 精度损失 | 适用场景 |
|---|---|---|---|---|
| FP32 原始 | 780KB | 120ms | 基准 | 原型验证 |
| INT8 全量化 | 195KB | 45ms | 2.4% | Flash 紧张 |
| 混合精度 (FP16+INT8) | 230KB | 52ms | 0.7% | 精度敏感 |
2.4 剪枝：结构化与非结构化剪枝的工程取舍
核心原理：剪枝是移除模型中冗余权重或神经元的过程。非结构化剪枝将单个权重置零，产生稀疏矩阵，但 STM32 的 CMSIS-NN 库不支持稀疏加速，因此实际收益有限。结构化剪枝（如通道剪枝）直接移除整个卷积核通道，可以真正减少 MACs 和内存占用。
判断方法：对于 STM32 部署，推荐采用 通道剪枝 + 微调 的策略。具体步骤：
- 训练一个略大的模型（如 MobileNetV2 0.5 倍宽度）。
- 计算每个通道的 L1 范数或 BN 层的缩放因子 γ，作为重要性指标。
- 设定剪枝率（如 30%），移除 γ 值最小的通道。
- 在原始训练集上微调 5~10 个 epoch，恢复精度。
- 重复迭代，直到模型大小满足目标。
常见误区：
- 误区一：认为剪枝一定能减少 Flash 占用。实际上，非结构化剪枝后的稀疏矩阵仍需存储索引，Flash 节省有限。
- 误区二：忽略剪枝对 RAM 的影响。通道剪枝减少了中间激活图的通道数，但若网络层间维度不匹配，可能需要额外的 padding 操作，反而增加 RAM 峰值。
- 误区三：在量化之后进行剪枝。量化后的权重分布已经离散化，剪枝的敏感性分析会失真，应遵循“先剪枝 → 微调 → 再量化”的顺序。
总结复盘：TinyML 在 STM32 上的部署不是简单的模型压缩，而是一个系统工程。部署流程决定了开发效率，模型结构决定了性能上限，量化与剪枝则是在精度、速度、存储三者之间寻找平衡点。量产检查时，必须将上述每个环节的决策记录在案，包括量化校准数据集版本、剪枝率、微调轮次等，以便在出现精度回归时能够快速定位问题。下一阶段，我们将深入探讨如何为这些模型精确预算 STM32 的 Flash、RAM 和 CPU 周期资源。