4、TinyML模型推理流程：从训练好的模型到嵌入式部署的完整流程

在TinyML工程实践中，模型训练只是第一步。一个在PC端准确率高达95%的模型，往往无法直接运行在Cortex-M4内核、仅有256KB Flash和64KB RAM的MCU上。从训练好的模型到嵌入式设备上稳定运行，需要经历一条严谨的工程链路：模型量化（Quantization）→ 格式转换（Conversion）→ 运行时封装（Runtime Wrapping）。本章将系统拆解这一流程，帮助读者建立从“数据科学家手中的模型”到“嵌入式工程师手中的C++代码”的完整认知。

4.1 模型量化：从FP32到INT8的精度与资源博弈

4.1.1 核心原理：为什么必须量化

嵌入式MCU通常不具备FPU（浮点运算单元）或仅有单精度FPU，FP32浮点运算需要软件模拟或消耗大量时钟周期。以STM32F4系列（Cortex-M4F）为例，一次FP32乘法约需3~5个时钟周期，而INT8乘法仅需1个周期。更重要的是，FP32模型权重占用Flash空间巨大：一个100KB的FP32模型，量化后仅需25KB。对于Flash通常只有256KB~1MB的MCU，量化不是可选项，而是必选项。

量化的数学本质是仿射变换：将浮点实数域映射到有限整数域。对于INT8量化，每个张量需要两个参数：缩放因子（Scale, S）和零点（Zero Point, Z）。反量化公式为：

real_value = (int8_value - zero_point) × scale

其中，scale是浮点数，zero_point是INT8整数。量化过程需要统计张量值的动态范围（min, max），然后计算：

scale = (max - min) / 255
zero_point = round(-min / scale)

4.1.2 量化方案对比与选择

在TinyML实践中，推荐优先尝试PTQ。如果精度下降超过2%，再考虑QAT。PTQ的校准过程本质上是收集激活值的分布统计，校准集应覆盖真实部署场景的数据分布。

4.1.3 实战案例：关键词唤醒模型的量化

假设我们有一个用于关键词“小爱同学”唤醒的CNN模型，原始FP32精度为96.2%，模型大小480KB。在STM32F746（1MB Flash, 320KB RAM）上部署时，Flash空间紧张。

操作步骤：

1. 准备500条真实环境下的语音片段（含噪声），提取MFCC特征作为校准集。
2. 使用TensorFlow Lite Converter执行PTQ量化，指定INT8全整型量化。
3. 量化后模型大小降至120KB，Flash占用减少75%。
4. 在开发板上运行量化模型，实测精度为94.8%，仅下降1.4%。
5. 推理延迟从FP32的85ms降至INT8的32ms，提升2.6倍。

4.2 模型转换：从训练框架到嵌入式运行时

4.2.1 转换的本质与目标

模型转换是将训练框架（TensorFlow/PyTorch）的模型文件，转换为嵌入式推理引擎（如TensorFlow Lite Micro, TFLM）能够解析和执行的格式。转换不仅仅是格式变化，还包含算子融合（Operator Fusion）、图优化（Graph Optimization）和内存规划（Memory Planning）。

以TFLM为例，转换过程将多个算子融合为复合算子，例如将Conv2D+BatchNorm+ReLU融合为一个算子，减少运行时中间张量的内存分配。同时，转换器会分析整个计算图，为每个中间张量分配静态内存偏移，避免运行时动态分配。

4.2.2 转换流程与关键参数

import tensorflow as tf

# 加载训练好的FP32模型
model = tf.keras.models.load_model('keyword_model.h5')

# 创建转换器
converter = tf.lite.TFLiteConverter.from_keras_model(model)

# 设置量化参数
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_gen  # 校准集生成器
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8
converter.inference_output_type = tf.int8

# 执行转换
tflite_model = converter.convert()

# 保存为C数组（用于嵌入式工程）
with open('model.tflite', 'wb') as f:
    f.write(tflite_model)

转换后需要验证模型完整性，使用TFLite解释器在PC端跑一遍推理，对比输出与原始模型的差异。

4.2.3 转换中的常见陷阱

• 算子不支持：某些高级算子（如LSTM的某些变体）在TFLM中不支持，需替换为等效算子组合。
• 动态形状问题：转换时输入张量必须固定形状，不能使用None维度。
• 量化感知层缺失：若模型中有自定义层，需在转换前注册量化器。

4.3 运行时封装：C++接口设计与内存管理

4.3.1 封装的核心目标

封装层是连接模型数据与嵌入式应用的桥梁。一个良好的封装应实现：资源隔离（模型数据与业务代码分离）、接口简洁（提供init/inference/deinit三个核心API）、内存可控（静态分配，无堆碎片）。

在TFLM中，典型的封装结构包含：

class KeywordModel {
public:
    bool init();                    // 加载模型，分配张量内存
    bool inference(const int8_t* input, int8_t* output);
    void deinit();                  // 释放资源
private:
    tflite::MicroInterpreter* interpreter;
    uint8_t* tensor_arena;          // 静态内存池
    const uint8_t* model_data;      // 模型数组指针
};

4.3.2 内存池设计策略

TFLM要求预先分配一块连续内存（Tensor Arena），所有中间张量都在此分配。内存池大小直接影响模型能否运行。通常通过以下方式估算：

内存池过小会导致分配失败，过大则浪费RAM。建议通过二分法测试最小可用内存池大小。

4.3.3 完整封装案例：振动故障诊断模型

某工业设备振动监测项目，使用1D-CNN模型（4层卷积+2层全连接）诊断轴承故障。模型量化后大小45KB，Tensor Arena需求为28KB。目标MCU为STM32L476（128KB RAM）。

实施过程：

1. 使用PTQ量化，校准集为500组振动信号（含正常、内圈故障、外圈故障、滚动体故障四类）。
2. 转换后验证PC端精度：FP32为97.5%，INT8为96.8%。
3. 编写C++封装类，使用静态数组分配Tensor Arena，避免堆操作。
4. 实现DMA方式从ADC读取振动数据，预处理后送入推理接口。
5. 实测推理时间：单次推理18ms（采样率12.8kHz，窗口512点），满足20ms实时性要求。

4.4 常见误区与工程复盘

4.4.1 误区一：量化后精度必然大幅下降

实际上，对于大多数CNN模型，INT8量化精度损失通常在1%以内。若出现精度骤降，应优先检查校准集质量、是否有异常层（如极端值激活）、以及是否使用了不支持的量化方案。

4.4.2 误区二：转换后模型可以直接运行

转换只是生成了模型文件，还需要针对目标硬件选择正确的算子内核（Kernel）。TFLM提供了多种内核优化选项，如CMSIS-NN加速。未启用硬件加速时，推理速度可能慢3~5倍。

4.4.3 误区三：内存池越大越好

过大的内存池不仅浪费RAM，还可能导致缓存命中率下降。正确做法是精确计算峰值内存需求，预留10%~15%余量即可。

4.4.4 复盘清单

• 量化前：确认模型结构是否支持INT8，检查是否有自定义算子。
• 转换后：使用PC端解释器验证输出一致性，对比FP32与INT8的数值差异。
• 封装时：优先使用静态内存，避免malloc/free；确保中断上下文不调用推理接口。
• 部署后：实测不同温度、电压下的推理时间波动，确保实时性余量充足。