📚 课程目录第4章模型准备与预处理

4. 模型准备与预处理

在TFLite量化自动化脚本的完整链路中，模型准备与预处理是决定后续转换成败与量化精度损失大小的第一道关口。很多开发者将精力集中在量化算子替换和推理引擎调优上，却忽视了模型加载方式、输入输出张量语义以及代表性数据集的构建质量，导致量化后模型出现严重的精度退化甚至完全无法推理。本章将系统讲解如何正确加载Keras与SavedModel格式的模型、如何解析并验证输入输出格式，以及如何构建一份能够真实反映部署场景分布的代表性数据集。这些工作看似基础，实则是量化自动化脚本中“可复现、可评估、可追溯”三大目标的根基。

上图展示了模型准备与预处理阶段的三大核心模块及其串联关系。左侧是模型加载与解析，中间是输入输出格式验证，右侧是代表性数据集构建。三者并非孤立执行，而是相互校验、循环迭代的过程。例如，在加载模型后必须立即验证输入张量的形状与dtype，才能决定数据集预处理流水线的具体参数；而数据集的分布特征又反过来影响是否需要调整输入分辨率或归一化方式。下面我们将逐一深入每个模块的工程实现细节。

4.1 模型加载：Keras与SavedModel的差异与选择

核心原理：TensorFlow模型存在多种持久化格式，其中Keras的.h5或.keras文件将模型架构、权重和优化器状态打包为单一文件，适合快速实验和迁移；而SavedModel格式则是一个包含saved_model.pb、变量目录和资产目录的文件夹，是TensorFlow Serving和TFLite转换器的推荐格式。从量化脚本的角度看，两种格式的加载路径不同，但最终都需要转换为tf.keras.Model实例或ConcreteFunction，以便后续调用TFLiteConverter。

操作流程：

Keras模型加载：使用tf.keras.models.load_model('model.h5')，该函数自动识别架构与权重。若模型包含自定义层或损失函数，需在加载时传入custom_objects字典。
SavedModel加载：使用tf.saved_model.load('saved_model_dir')，返回一个对象，通过model.signatures['serving_default']获取推理函数。若需要转换为Keras模型，可借助tf.keras.models.load_model直接加载SavedModel目录（TensorFlow 2.x支持）。
签名获取：对于SavedModel，务必检查model.signatures字典中的键名，通常为'serving_default'，但自定义导出时可能不同。通过concrete_func = model.signatures['serving_default']获得具体函数。

实战要点：在自动化脚本中，建议优先使用SavedModel作为中间格式。原因在于：其一，SavedModel包含明确的签名信息，便于程序化解析输入输出张量；其二，TFLiteConverter对SavedModel的兼容性最好，避免了Keras自定义层可能导致的转换失败；其三，SavedModel天然支持多签名，方便后续扩展多个推理入口。

# 示例：统一加载入口
import tensorflow as tf

def load_model(model_path, model_type='auto'):
    if model_type == 'keras' or model_path.endswith(('.h5', '.keras')):
        model = tf.keras.models.load_model(model_path)
        return model, model.inputs, model.outputs
    elif model_type == 'saved_model' or tf.io.gfile.isdir(model_path):
        imported = tf.saved_model.load(model_path)
        infer = imported.signatures['serving_default']
        return imported, infer.inputs, infer.outputs
    else:
        raise ValueError(f"Unsupported model format: {model_path}")

4.2 输入输出格式验证：张量语义与预处理对齐

核心原理：输入输出格式验证是量化前必须完成的“契约检查”。TFLite量化对输入张量的shape、dtype和name有严格要求，尤其是动态维度（如None）在量化后可能被固定为静态值。同时，模型的预处理逻辑（如归一化系数、通道顺序）必须与训练时完全一致，否则量化校准数据将失去意义。

验证清单：

检查项	方法	常见问题
输入张量形状	打印`input.shape`，确认batch维度是否为`None`	动态batch在量化时被固定为1，导致推理时batch不匹配
输入dtype	检查`input.dtype`，通常为`tf.float32`	若模型输入为uint8，需先反归一化再量化
输出张量	确认输出是否经过softmax，是否包含额外维度	量化后输出分布偏移，需调整阈值
预处理一致性	对比训练脚本中的预处理代码	归一化系数错误导致校准数据分布偏移

案例拆解：某图像分类模型在训练时使用tf.keras.applications.mobilenet_v2.preprocess_input，该函数将像素值从[0,255]缩放到[-1,1]。但在量化脚本中，开发者直接使用np.array(image)/255.0作为代表性数据，导致输入分布从[-1,1]变为[0,1]。量化校准后，模型精度从88%骤降至72%。解决方法是复用训练时的预处理函数，或显式在脚本中定义相同的归一化逻辑。

风险提示：不要轻信模型文件中的张量名称。某些模型在导出时输入名称为input_1，但实际部署时可能被TFLite重命名为serving_default_input_1。建议在转换前使用converter.convert()后的interpreter.get_input_details()再次验证。

4.3 代表性数据集构建：分布匹配与样本量策略

核心原理：代表性数据集（Representative Dataset）用于量化校准，其作用是通过少量样本统计激活值的动态范围，从而确定量化参数。数据集的分布必须与真实部署场景高度一致，否则量化后的模型在真实数据上会出现精度崩塌。理想情况下，代表性数据集应覆盖所有类别、光照条件、噪声水平、分辨率变化等实际因素。

构建策略：

样本来源：优先从真实部署环境中采集，如摄像头捕获的图片、传感器日志、用户行为序列。若无法获取，可从训练集中随机抽取，但需确保类别均衡。
样本数量：通常100~500张即可满足校准需求。过少导致统计噪声大，过多则增加校准时间且收益递减。对于分类任务，每类至少10张；对于检测任务，需包含不同目标尺寸和遮挡情况。
预处理流水线：代表性数据集必须经过与训练完全相同的预处理，包括resize、crop、归一化、通道转换等。建议将预处理封装为函数，在数据加载时统一调用。
数据增强：校准数据不应使用随机增强（如随机裁剪、翻转），因为增强会引入额外分布偏移，干扰量化统计。

# 代表性数据集生成器示例
def representative_data_gen(dataset_dir, preprocess_fn, batch_size=32):
    dataset = tf.keras.preprocessing.image_dataset_from_directory(
        dataset_dir,
        batch_size=batch_size,
        image_size=(224, 224),
        shuffle=False
    )
    for images, _ in dataset:
        # 应用与训练一致的预处理
        images = preprocess_fn(images)
        yield [images]  # 注意：必须包装为列表

经验提醒：对于回归任务或语音模型，代表性数据集应包含不同信噪比、不同说话人、不同环境噪声的样本。建议在构建数据集时记录每个样本的元数据（如来源、时间戳、标签），便于后续分析量化误差与样本特征的关系。

4.4 实战案例：从SavedModel到量化校准的完整链路

背景与约束：某工业质检项目需要将缺陷检测模型部署到边缘设备，模型为Faster R-CNN（TensorFlow Object Detection API训练），输出为检测框坐标和类别概率。原始模型为SavedModel格式，输入为image_tensor，形状为[None, 300, 300, 3]，dtype为uint8。部署设备仅支持TFLite int8量化，要求mAP@0.5下降不超过2%。

初始现象：直接使用训练集随机抽取的200张图片作为代表性数据集，量化后mAP从0.82降至0.61，远超容忍范围。分析发现，训练集图片多为高分辨率（1920×1080）且背景干净，而实际产线图片存在大量噪声、运动模糊和光照不均。

分析判断过程：

检查输入格式：模型输入为uint8，但TFLite量化要求输入为float32（除非使用全整型量化）。需在转换时设置inference_input_type=tf.uint8。
检查预处理：训练时使用image_tensor直接输入，未做归一化，但TFLite默认期望[0,1]浮点输入。需在代表性数据生成器中显式除以255.0。
检查数据分布：对比训练集与产线图片的像素均值、方差和边缘分布，发现产线图片亮度偏低且存在大量暗角。

实际操作步骤：

# 1. 重新采集代表性数据：从产线连续采集3天，共500张图片，覆盖不同班次、不同产品型号
# 2. 预处理对齐：使用与训练一致的resize和crop，但额外添加亮度校正
def preprocess_production(image):
    image = tf.image.resize(image, (300, 300))
    image = tf.image.random_brightness(image, max_delta=0.2)  # 模拟产线光照变化
    image = tf.cast(image, tf.float32) / 255.0
    return image

# 3. 转换配置
converter = tf.lite.TFLiteConverter.from_saved_model('saved_model_dir')
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_data_gen
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.uint8
converter.inference_output_type = tf.uint8
tflite_model = converter.convert()

结果对比：使用新数据集后，量化模型mAP@0.5为0.80，仅下降0.02，满足部署要求。同时，推理速度从原始float32的45ms提升至int8的12ms，内存占用减少75%。

风险与代价：重新采集数据耗时3天，且需要人工标注500张图片。此外，亮度校正增强了数据多样性，但可能引入过拟合风险，需在后续版本中持续监控。

复盘经验：代表性数据集的质量远比数量重要。在构建前，务必进行数据分布的可视化对比（如直方图、PCA散点图），并建立“数据-模型-部署”三方对齐的验证流程。建议在自动化脚本中加入数据分布漂移检测模块，当新数据分布与校准集差异超过阈值时自动告警。

4.5 常见误区与总结复盘

误区一：认为代表性数据集可以直接复用训练集的验证集。验证集通常经过清洗和平衡，无法代表真实部署的噪声和长尾分布。

误区二：忽略输入dtype的转换。Keras模型默认float32输入，但SavedModel可能为uint8，若未在转换时指定inference_input_type，TFLite会默认使用float32，导致额外的浮点转换开销。

误区三：在代表性数据集中使用数据增强。增强会扩大激活值分布范围，导致量化参数过于保守，精度下降。

误区四：只关注输入格式，忽略输出格式。例如，检测模型的输出包含num_detections、detection_boxes等多个张量，量化后这些张量的dtype和形状可能变化，需要在评估脚本中适配。

总结：模型准备与预处理是量化自动化脚本中最需要“人工介入”的环节。虽然脚本可以自动加载模型和生成数据，但分布匹配、预处理对齐和格式验证必须由工程师根据具体任务和部署环境进行配置。建议将本章内容固化为脚本中的ModelPreprocessor类，包含load_model()、validate_signature()、build_representative_dataset()三个核心方法，并输出一份model_report.json，记录模型元数据、数据分布统计和预处理参数，为后续的量化评估提供可追溯的上下文。