📚 课程目录第4章模型转换与量化

模型转换与量化：TFLite格式与量化方法对内存的影响

在TFLite Micro的部署流程中，模型转换与量化是决定最终内存占用（Flash与RAM）的关键前置环节。原始浮点模型（如Keras的.h5或PyTorch的.pt）无法直接被TFLite Micro解释器加载，必须经过格式转换与数值精度压缩。这一过程不仅改变模型的存储格式，更深刻影响推理时的张量内存分配、算子内核选择以及arena大小的估算结果。本章将系统拆解TFLite格式的转换链路、三种量化策略（动态范围、全整型、浮点16）的内存影响机制，并给出针对MCU场景的量化选型决策方法。

上图展示了从原始模型到TFLite格式的转换链路，以及三种量化策略对Flash与RAM的不同影响路径。在实际工程中，选择哪种量化方式并非单纯追求最小体积，而是要在精度损失、内存占用、算子支持范围与推理速度之间取得平衡。下面我们将深入每个环节的具体操作与内存计算逻辑。

4.1 TFLite格式转换：从Keras/PyTorch到FlatBuffer

核心原理：TFLite模型本质上是FlatBuffer格式的二进制文件，它包含模型结构、权重数据、算子列表以及量化参数。转换过程由TFLite Converter完成，其输入可以是SavedModel、Keras H5或具体框架的模型文件。转换器会执行常量折叠、算子融合（如将BN层融合进卷积）、权重重排等优化，这些操作直接影响最终模型的大小与推理时的临时内存需求。

操作流程：

准备模型：确保模型结构完整，输入输出张量形状固定（动态shape会阻止某些优化）。
调用转换器：使用Python API tf.lite.TFLiteConverter.from_keras_model() 或 from_saved_model()。
设置优化选项：通过 optimizations 参数指定量化策略。
生成.tflite文件：转换器输出FlatBuffer格式文件，可直接用于TFLite Micro。

import tensorflow as tf
# 加载Keras模型
model = tf.keras.models.load_model('mobilenet_v2.h5')
# 创建转换器
converter = tf.lite.TFLiteConverter.from_keras_model(model)
# 设置优化策略（此处为动态范围量化）
converter.optimizations = [tf.lite.Optimize.DEFAULT]
# 转换并保存
tflite_model = converter.convert()
with open('model_dynamic.tflite', 'wb') as f:
    f.write(tflite_model)

案例拆解：假设我们有一个用于关键词唤醒的DS-CNN模型，原始Keras模型大小为2.3MB（FP32权重）。直接转换不量化时，生成的.tflite文件约为2.3MB（FlatBuffer开销极小）。若启用动态范围量化，权重转为INT8，文件大小降至约0.6MB，Flash占用减少74%。但此时激活张量仍以FP32存储，arena中每个中间张量仍占用4字节/元素。

经验提醒：转换时务必固定输入shape。例如使用 converter.representative_dataset 时，输入张量必须与校准数据形状完全一致。若模型包含动态维度（如None的batch size），转换器会拒绝某些优化，导致生成的模型体积偏大且推理时内存分配更保守。

4.2 动态范围量化：权重压缩，激活保留FP32

核心原理：动态范围量化仅将权重从FP32转为INT8，同时为每个张量记录缩放因子（scale）和零点（zero_point）。推理时，权重在加载时反量化为FP32（或由算子内核直接使用INT8权重计算），但激活张量仍以FP32格式在arena中分配。这种策略的优点是实现简单、精度损失较小（通常<2%），且不需要校准数据集。

内存影响分析：

内存区域	量化前	动态范围量化后	变化比例
Flash（权重存储）	2.3MB	0.6MB	↓ 74%
RAM（激活张量）	200KB	200KB	不变
RAM（权重缓存）	0	0（直接读取INT8）	不变

适用场景：当MCU的Flash空间紧张（如<1MB）但RAM相对充裕（如>256KB）时，动态范围量化是首选。例如在STM32F746上部署语音识别模型，Flash仅512KB，而RAM有320KB，动态量化可轻松容纳模型。

风险提示：动态范围量化后，若算子内核不支持INT8权重直接计算，TFLite Micro会回退到FP32计算，此时需要将INT8权重反量化到FP32临时缓冲区，这会导致额外的RAM峰值。务必检查 tflite::ops::micro::Register_ALL_OPS() 中是否包含对应的INT8优化内核。

4.3 全整型量化：权重与激活同时压缩

核心原理：全整型量化不仅将权重转为INT8，还将激活张量量化为INT8。这需要提供代表性数据集（representative dataset）来统计激活值的动态范围，从而确定每个张量的scale和zero_point。推理时，所有中间计算均以INT8进行，仅在必要时（如输出层）反量化为FP32。

操作流程：

准备校准数据集：通常选取100-500个有代表性的输入样本。
定义生成器函数：def representative_dataset(): for data in sample: yield [data.astype(np.float32)]
设置转换器：converter.representative_dataset = representative_dataset 且 converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
转换并验证精度。

def representative_dataset():
    for i in range(200):
        # 从训练集随机采样
        sample = x_train[i:i+1]
        yield [sample.astype(np.float32)]

converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
tflite_int8_model = converter.convert()

内存影响分析：

内存区域	动态范围量化	全整型量化	额外收益
Flash（权重）	0.6MB	0.6MB	相同
RAM（激活）	200KB	50KB	↓ 75%
RAM（临时缓冲区）	可能额外+50KB	无额外开销	更稳定

案例拆解：在STM32G474（RAM 128KB）上部署图像分类模型，原始FP32激活需要180KB，超出RAM限制。改用全整型量化后，激活降至45KB，arena总占用从210KB降至80KB，成功在128KB RAM内运行。但精度从92.3%降至90.1%，仍在可接受范围。

关键判断：全整型量化并非所有算子都支持。若模型中包含不支持INT8的算子（如某些自定义层），转换器会报错或自动将该算子保留为FP32，导致混合精度模型。此时arena中同时存在INT8和FP32张量，内存估算需分别计算。

4.4 量化方法选型决策与常见误区

决策流程：

第一步：评估Flash空间。若模型FP32大小 > Flash可用空间，必须量化。
第二步：评估RAM空间。若激活FP32大小 > RAM可用空间，必须使用全整型量化。
第三步：检查算子兼容性。使用 tflite::micro::GetTensorData<int8_t>() 确认所有算子支持INT8。
第四步：验证精度。若全整型量化精度损失 > 5%，考虑混合量化或模型结构调整。

常见误区：

误区1：认为量化后arena一定变小。动态范围量化只减小Flash，RAM不变；若算子回退到FP32，RAM甚至可能增加。
误区2：忽略校准数据集的质量。校准数据应覆盖真实输入分布，否则激活量化范围不准，导致精度骤降。
误区3：直接使用 converter.optimizations = [tf.lite.Optimize.DEFAULT] 而不指定 supported_ops，转换器可能默认使用动态范围量化而非全整型，导致RAM未优化。

总结复盘：模型转换与量化是TFLite Micro部署的“第一道关卡”，其决策直接影响后续arena大小估算的准确性。动态范围量化适合Flash受限但RAM充足的场景；全整型量化是RAM受限场景的必选方案，但需付出校准与精度验证的工程成本。在估算arena时，务必基于量化后的模型重新计算张量大小，而非沿用FP32模型的数据。建议在转换后使用 tflite::MicroInterpreter::arena_allocator() 打印实际分配大小，与理论估算对比，确保余量设计合理。