4. 模型转换基础

在TFLite Micro的完整工具链中，模型转换是连接训练环境与嵌入式部署环境的桥梁。训练阶段产出的SavedModel格式模型，包含网络权重、计算图定义以及训练相关的附加信息，这些内容对于推理设备而言过于冗余且无法直接解析。TensorFlow Lite Converter（TFLite Converter）负责将SavedModel、Keras H5或具体函数图（Concrete Function）转换为轻量级的FlatBuffer格式（即.tflite文件），并在此过程中完成算子融合、常量折叠、量化感知等关键优化。本章将聚焦于Converter的核心用法、量化参数的设置逻辑，以及转换前后模型行为的验证方法，为后续固件集成打下坚实基础。

上图展示了从SavedModel到.tflite文件的完整转换链路。Converter的核心工作包括：将TensorFlow的算子映射为TFLite内置算子、合并可以融合的算子对（如Conv2D+ReLU）、移除训练专用的节点（如BatchNorm的滑动均值更新）、以及根据量化设置将浮点张量映射为低比特表示。在实际工程中，转换并非总是“一键完成”，算子兼容性、量化精度损失、输入输出张量形状的固定化等问题，都需要开发者具备系统性的排查能力。

4.1 核心原理：Converter的转换管线与量化机制

TFLite Converter的底层实现基于TensorFlow的MLIR（Multi-Level Intermediate Representation）编译器框架。转换过程大致分为三个阶段：图导入（Import）、图优化（Optimize）和图导出（Export）。在导入阶段，Converter将SavedModel中的SignatureDef（签名定义）作为入口点，提取出具体的推理子图。优化阶段执行算子融合、常量折叠、Dead Code消除等操作。导出阶段则将优化后的图序列化为FlatBuffer格式，并嵌入量化参数。

量化参数是本章的核心关注点。TFLite支持三种量化模式：动态范围量化（Dynamic Range Quantization）、全整型量化（Full Integer Quantization）和浮点16位量化（Float16 Quantization）。动态范围量化仅将权重从FP32转为INT8，激活值在推理时动态计算缩放因子，这种方式无需校准数据集，但推理速度提升有限。全整型量化则要求权重、激活、输入输出全部转为INT8，需要提供代表性数据集进行校准，以确定激活值的动态范围。对于TFLite Micro部署，全整型量化是首选方案，因为MCU通常缺乏FPU（浮点运算单元）或FPU性能较弱。

Converter在转换时还会生成一个算子兼容性报告。如果模型中包含TFLite不支持的算子（如某些自定义层），转换会失败并提示具体算子名称。此时需要开发者使用tf.lite.TFLiteConverter的allow_custom_ops参数，或通过算子替换、模型重构来规避。

4.2 操作流程：从SavedModel到量化.tflite的完整步骤

以下操作流程基于TensorFlow 2.x版本，假设读者已经训练好一个图像分类模型并导出为SavedModel格式。整个流程分为四个步骤：环境准备、基础转换、量化转换、验证对比。

步骤一：环境准备与模型确认

首先确认SavedModel的目录结构，应包含saved_model.pb、variables/目录以及可能的assets/目录。使用以下代码查看模型的签名信息：

import tensorflow as tf
# 加载SavedModel并打印签名
loaded = tf.saved_model.load('./saved_model_dir')
print(list(loaded.signatures.keys()))
# 通常输出：['serving_default']
# 查看输入输出张量信息
infer = loaded.signatures['serving_default']
print(infer.structured_input_signature)
print(infer.structured_outputs)

这一步的关键是确认输入张量的形状（是否固定Batch维度）和数据类型（通常为FP32）。如果模型输入形状包含None（动态Batch），在转换时需要指定具体的形状，因为TFLite要求静态形状。

步骤二：基础浮点转换

执行最简单的转换，生成未量化的浮点.tflite文件，作为后续对比的基准：

converter = tf.lite.TFLiteConverter.from_saved_model('./saved_model_dir')
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS]
tflite_model = converter.convert()
with open('model_float.tflite', 'wb') as f:
    f.write(tflite_model)

如果此步骤报错，通常是因为算子不兼容。此时需要查看错误日志中提到的算子名称，并检查模型中是否有自定义层或较新的算子（如tf.raw_ops中的某些操作）。

步骤三：全整型量化转换

全整型量化需要准备一个校准数据集（通常为训练集的子集），并定义一个生成器函数来提供样本。以下代码展示了完整的量化流程：

import numpy as np

# 假设我们有一个数据集加载函数，返回形状为(1, 224, 224, 3)的numpy数组
def representative_dataset():
    # 实际使用时，从训练集中随机采样100~500个样本
    for _ in range(100):
        data = np.random.rand(1, 224, 224, 3).astype(np.float32)
        yield [data]

converter = tf.lite.TFLiteConverter.from_saved_model('./saved_model_dir')
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8  # 强制输入为INT8
converter.inference_output_type = tf.int8  # 强制输出为INT8
tflite_quant_model = converter.convert()
with open('model_quant_int8.tflite', 'wb') as f:
    f.write(tflite_quant_model)

这里的关键参数是inference_input_type和inference_output_type。如果设置为tf.int8，则模型的输入输出张量也会被量化为INT8，这要求外部设备在喂数据前进行相同的量化预处理。如果保持默认（tf.float32），则模型内部使用INT8计算，但输入输出仍为浮点，Converter会自动在模型首尾插入量化/反量化节点。

步骤四：转换结果验证

转换完成后，必须验证量化模型的精度和输出一致性。使用TFLite Interpreter加载模型，并与原始SavedModel的输出进行对比：

# 加载TFLite模型
interpreter = tf.lite.Interpreter(model_path='model_quant_int8.tflite')
interpreter.allocate_tensors()
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# 准备输入数据（注意：如果输入类型为INT8，需要先量化）
test_input = np.random.rand(1, 224, 224, 3).astype(np.float32)
if input_details[0]['dtype'] == np.int8:
    input_scale, input_zero_point = input_details[0]['quantization']
    test_input = (test_input / input_scale + input_zero_point).astype(np.int8)

interpreter.set_tensor(input_details[0]['index'], test_input)
interpreter.invoke()
tflite_output = interpreter.get_tensor(output_details[0]['index'])

# 与原始模型对比
original_output = loaded.signatures['serving_default'](tf.constant(test_input))
# 计算余弦相似度或MSE

通常，量化模型的输出与浮点模型相比，余弦相似度应保持在0.99以上，Top-1准确率下降不应超过1%~2%。如果精度损失过大，需要检查校准数据集是否具有代表性，或者考虑对特定层进行“部分量化”（即保留某些敏感层为浮点）。

4.3 案例拆解：将MobileNetV2转换为适用于STM32的INT8模型

本案例面向一个实际的MCU部署场景：在STM32F746（Cortex-M7，带FPU）上运行图像分类模型。我们选择MobileNetV2作为基础模型，因为其深度可分离卷积结构在MCU上具有较好的计算效率。

背景与约束：目标设备Flash容量为1MB，RAM为320KB。模型需要以INT8格式运行，以降低Flash占用和内存带宽。输入图像尺寸为96×96×3（为适配MCU性能而缩小）。

初始现象：直接使用官方预训练的MobileNetV2（输入224×224）进行转换，生成的INT8模型大小为3.5MB，远超Flash容量。且推理延迟预计超过2秒，无法满足实时性要求。

关键操作步骤：

1. 模型重构：在训练阶段将输入尺寸从224×224改为96×96，并重新训练（或微调）模型。这一步将模型参数量减少约5.4倍。
2. 校准数据集准备：从ImageNet验证集中随机选取200张图片，预处理为96×96×3，并归一化到[-1, 1]区间。确保类别分布均匀。
3. 执行全整型量化：使用4.2节中的代码，设置inference_input_type=tf.int8，inference_output_type=tf.int8。转换后模型大小为约450KB。
4. 验证精度：在100张测试图片上对比浮点模型与量化模型的Top-1准确率。浮点模型准确率为68.2%，量化模型为66.9%，下降1.3个百分点，在可接受范围内。
5. 生成C数组：使用xxd -i model_quant_int8.tflite > model_data.cc将模型转换为C语言数组，便于固件集成。

结果对比：量化后模型Flash占用从3.5MB降至450KB，RAM占用约200KB（包含中间激活缓冲区），推理延迟约350ms（使用CMSIS-NN优化库），满足项目需求。

4.4 常见误区与总结复盘

在模型转换过程中，开发者常遇到以下几类问题，需要特别注意：

误区/问题	现象	根因分析	解决方案
忽略输入形状固定	转换报错：None维度不支持	SavedModel中Batch维度为动态	使用converter.experimental_fixed_batch_size=True或修改模型输入形状
校准数据集过小	量化后精度下降超过5%	激活值范围估计不准	增加校准样本至300~500个，并确保覆盖极端值
算子不兼容	转换失败，提示找不到某算子	模型使用了较新的TF算子	升级TF版本，或使用allow_custom_ops=True（需自行实现算子）
输入输出类型不匹配	推理结果完全错误	外部数据未按INT8量化	在MCU端实现相同的量化预处理逻辑（scale/zero_point）

总结复盘：模型转换是TFLite Micro开发中最容易“踩坑”的环节之一。建议遵循以下最佳实践：第一，在训练阶段就使用tf.quantization.quantize_and_dequantize进行伪量化训练（Quantization-Aware Training），这比训练后量化（Post-Training Quantization）能获得更好的精度；第二，建立自动化的转换验证脚本，每次模型更新后自动运行精度对比；第三，保存转换时的所有参数配置（包括校准数据集、优化选项、目标算子集），确保可复现性。

掌握Converter的用法只是第一步，更重要的是理解量化对模型行为的影响。在下一阶段的固件集成中，我们需要将.tflite文件转换为C++数组，并编写推理调度代码。届时，量化参数的传递（scale/zero_point）将成为MCU端数据预处理的核心依据。建议读者在完成本章练习时，务必亲手操作一次从SavedModel到INT8模型的完整转换，并记录每一步的模型大小、精度和推理延迟数据，形成自己的转换经验基线。