📚 课程目录第4章准备模型

4、准备模型：训练或获取浮点模型、模型格式（SavedModel、Keras H5、Frozen GraphDef）、模型优化检查

在TFLite Converter PTQ INT8转换流程中，准备模型是决定后续量化成败的基石。PTQ（Post-Training Quantization）的核心思路是：利用一个已经训练好的浮点模型，通过校准数据集统计激活值的动态范围，从而将权重和激活从FP32映射到INT8。因此，模型的来源、格式以及质量直接决定了量化后的精度损失程度和转换工具的兼容性。本节将系统讲解如何获取或训练浮点模型、如何选择正确的模型格式，以及如何在量化前进行必要的模型优化检查。

4.1 核心原理：为什么浮点模型的质量决定PTQ上限

PTQ INT8转换本质上是一个有损压缩过程。浮点模型中的权重分布和激活值分布是量化误差的直接来源。如果原始浮点模型本身精度不高、过拟合严重或存在异常梯度，那么量化后的模型精度损失会被放大。更关键的是，PTQ不进行反向传播微调，它只依赖校准数据来估计激活值的范围。因此，浮点模型的“成熟度”至关重要——一个尚未完全收敛的模型，其激活值分布可能不稳定，导致校准统计的min/max值失真。

从数学角度看，量化误差由两部分组成：权重量化误差和激活量化误差。权重误差是静态的，取决于权重分布是否均匀；激活误差是动态的，取决于输入数据分布。如果浮点模型使用了BatchNorm（批归一化），在推理时BatchNorm的均值和方差是固定的，这有助于稳定激活分布，但也会引入额外的计算层。TFLite Converter在转换时会尝试将BatchNorm折叠到前一层的卷积或全连接权重中，以减少量化误差传播路径。

  关键认知：PTQ不是“模型修复工具”。如果浮点模型在验证集上的精度已经低于目标值，量化后只会更差。通常建议浮点模型在目标任务上的精度至少比部署目标高2%~5%，为量化损失预留空间。

4.2 模型获取途径与训练建议

获取浮点模型通常有三种途径：从零训练、使用预训练模型微调、直接下载开源模型。对于PTQ INT8转换，推荐优先使用在相似域上预训练过的模型进行迁移学习，因为这类模型的特征提取器已经成熟，权重分布更规整。

如果选择从零训练，需要注意以下几点：

收敛充分：确保训练损失不再下降，验证集精度达到平台期。建议使用早停（Early Stopping）机制，避免过拟合导致的权重极端值。
权重正则化：适当使用L2正则化或权重衰减，可以抑制权重绝对值过大，使分布更集中，有利于INT8量化。
激活函数选择：ReLU系列激活函数天然将负值截断为0，这有助于缩小激活值范围，对量化友好。如果使用LeakyReLU或ELU，需要额外关注负半轴的分布。
输入归一化：确保训练时的输入预处理（如ImageNet的mean/std）与推理时一致。如果预处理不一致，激活分布会偏移，导致校准数据失效。

对于迁移学习场景，建议冻结骨干网络（Backbone）的前几层，只微调最后几层。这样既能保留预训练模型的泛化能力，又能适应新任务。微调完成后，需要将整个模型导出为推理格式，并删除训练相关的节点（如损失函数、优化器状态）。

4.3 模型格式详解：SavedModel、Keras H5、Frozen GraphDef

TFLite Converter支持多种输入格式，但不同格式在转换时的便利性和兼容性差异显著。下表对比了三种主流格式的特点：

格式	文件结构	转换便利性	适用场景	注意事项
SavedModel	目录（含assets、variables、saved_model.pb）	★★★★★（推荐）	TensorFlow 2.x 默认导出格式	自动包含签名（SignatureDef），无需手动指定输入输出张量名
Keras H5	单个.h5文件	★★★☆☆	Keras模型快速保存	需要手动指定输入输出名称；不包含自定义层时转换顺利
Frozen GraphDef	单个.pb文件	★★☆☆☆	TensorFlow 1.x 遗留模型	必须使用freeze_graph工具将权重固化到图中；需指定输入输出节点名

4.3.1 SavedModel格式（首选）

SavedModel是TensorFlow 2.x的原生格式，它通过签名（SignatureDef）明确记录了模型的输入输出张量名称、数据类型和形状。使用TFLiteConverter转换时，只需一行代码即可完成：

import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model("path/to/saved_model")
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_gen
tflite_model = converter.convert()

SavedModel的优势在于：它自动处理了变量（Variable）与常量（Constant）的区分，转换器可以准确识别哪些是训练权重、哪些是推理常量。此外，SavedModel支持多个签名，你可以为推理单独定义一个签名，避免将训练特有的输入（如learning_rate）带入转换图。

4.3.2 Keras H5格式

Keras H5是早期Keras模型的标准保存格式，它将模型结构、权重和优化器状态打包在一个HDF5文件中。使用H5格式转换时，需要先加载模型，再通过from_keras_model接口转换：

model = tf.keras.models.load_model("model.h5")
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_gen
tflite_model = converter.convert()

H5格式的潜在问题在于：如果模型包含自定义层（Custom Layer）或Lambda层，转换器可能无法识别其逻辑，导致转换失败。此时需要将自定义层替换为标准层，或使用tf.function包装模型后再转换。

4.3.3 Frozen GraphDef格式（旧式）

Frozen GraphDef是TensorFlow 1.x时代的产物，它将计算图和变量权重全部冻结为常量，生成一个单一的.pb文件。这种格式在转换时需要显式指定输入输出张量名：

converter = tf.compat.v1.lite.TFLiteConverter.from_frozen_graph(
    graph_def_file="frozen_model.pb",
    input_arrays=["input_tensor"],
    output_arrays=["output_tensor"]
)

使用Frozen GraphDef的难点在于：你需要从原始图中找到正确的输入输出节点名称。通常可以通过graph.get_operations()或TensorBoard查看图结构来确认。此外，Frozen GraphDef不支持动态形状，所有维度必须在冻结时固定。

风险提示：如果模型包含控制流（如tf.while_loop）或动态形状（如None维度），Frozen GraphDef格式可能无法正确转换。建议优先使用SavedModel格式，它对这些高级特性支持更好。

4.4 模型优化检查：量化前的必要体检

在正式执行PTQ转换之前，需要对浮点模型进行一系列检查，以确保转换过程顺利且量化精度可控。以下是推荐的检查流程：

结构检查：使用model.summary()或saved_model_cli show查看模型结构，确认没有不可训练的权重（如BatchNorm的moving_mean/moving_variance）被错误标记。
算子兼容性检查：TFLite内置算子库有限，部分高级算子（如Einsum、TFOpLambda）可能不支持。可以使用tf.lite.TFLiteConverter的allow_custom_ops参数，但自定义算子会破坏INT8量化，应尽量避免。
输入输出张量确认：记录输入张量的形状、数据类型（应为float32）和归一化方式。输出张量如果是分类概率，建议使用Softmax层；如果是回归值，需确认范围。
常量折叠检查：确保模型中没有冗余的常量计算节点（如固定的偏移量加法），这些可以在转换前手动折叠。
BatchNorm折叠验证：转换器会自动折叠BatchNorm，但折叠后的权重分布可能发生变化。建议在转换后对比浮点模型和量化模型的权重分布直方图。

4.4.1 实战场景：从Keras H5到SavedModel的迁移

假设你有一个训练好的Keras模型mobilenetv2_finetuned.h5，用于图像分类任务。初始尝试直接使用H5格式转换，但发现转换器报错：Unsupported op: FusedBatchNormV3。这是因为H5格式中BatchNorm层未被折叠，且转换器无法处理其训练参数。

分析过程：检查模型结构后发现，模型使用了tf.keras.layers.BatchNormalization，在推理模式下应使用moving_mean和moving_variance。但H5格式保存了训练时的更新参数，导致图中有额外的赋值节点。

解决方案：先将H5模型重新导出为SavedModel格式，并显式指定推理签名：

model = tf.keras.models.load_model("mobilenetv2_finetuned.h5")
@tf.function(input_signature=[tf.TensorSpec(shape=[1,224,224,3], dtype=tf.float32, name="input")])
def infer(x):
    return {"output": model(x, training=False)}
tf.saved_model.save(model, "saved_model_mobilenet", signatures={"serving_default": infer})

导出后，使用from_saved_model转换，BatchNorm被正确折叠，转换成功。量化后模型精度从92.3%降至90.1%，损失2.2个百分点，在可接受范围内。

复盘经验：H5格式适合快速保存，但正式部署前应统一转换为SavedModel格式。转换时务必设置training=False，确保BatchNorm使用推理统计量。

4.5 常见误区与总结复盘

在准备浮点模型的过程中，工程师常犯以下错误：

误区一：忽略输入预处理一致性。训练时使用[0,1]归一化，但推理时使用[-1,1]归一化，导致激活分布偏移，校准数据失效。
误区二：使用未收敛的模型。训练仅进行了10个epoch，损失仍在下降，此时量化会放大未学习到的特征噪声。
误区三：混淆H5与SavedModel的转换接口。H5使用from_keras_model，SavedModel使用from_saved_model，混用会导致加载失败。
误区四：忽略自定义算子的风险。自定义算子无法INT8量化，即使转换成功，也会回退到FP32执行，失去加速效果。

最佳实践：在准备模型阶段，建议同时保存一份“纯推理”版本的SavedModel（去除训练节点、固定输入形状），并记录输入张量的名称和归一化参数。这不仅能简化转换流程，还能为后续的模型调试提供基准。

总结而言，浮点模型的准备是PTQ INT8转换中最容易被低估的环节。一个结构清晰、格式标准、经过优化检查的浮点模型，能让后续的校准和量化事半功倍。反之，格式混乱或结构冗余的模型，即使强行转换成功，也可能在边缘设备上出现精度崩溃或推理延迟。因此，建议在项目初期就建立模型导出的标准化流程，将SavedModel作为统一的交换格式，并定期检查模型的算子兼容性和输入输出定义。