3. TensorFlow模型基础
在K210模型转换工具链中，TensorFlow模型的保存格式直接决定了后续转换路径的顺畅程度。许多开发者在完成模型训练后，往往随意选择一种格式保存，却在进入K210的NNCase工具链时遭遇算子不支持、权重丢失或图结构解析失败等问题。理解SavedModel、H5、PB三种格式的本质差异与适用边界，是构建高效部署流程的第一步。本章将从格式的底层机制出发，结合K210部署的实际需求，系统梳理三种格式的选择策略与转换要点。
3.1 三种格式的核心原理与内部结构
TensorFlow模型的保存格式并非简单的文件后缀差异，而是反映了模型序列化方式、元数据保留程度和运行时依赖关系的不同设计哲学。理解这些底层机制，才能在实际部署中做出正确选择。
3.1.1 SavedModel：完整可移植的模型包
SavedModel是TensorFlow官方推荐的模型保存格式，它本质上是一个包含多个文件的目录结构。该格式不仅保存了计算图的结构和权重参数，还额外记录了模型的签名定义（SignatureDef）、资产文件（Assets）以及变量索引等元数据。这种设计使得SavedModel可以脱离原始训练代码独立运行，并且支持TensorFlow Serving、TensorFlow Lite Converter等不同部署组件的直接加载。
在K210部署场景中，SavedModel的主要价值在于其包含的完整图信息。NNCase工具链在解析模型时，需要识别输入输出节点的名称和数据类型，而SavedModel的签名定义恰好提供了标准化的接口描述。然而，SavedModel目录中可能包含训练相关的额外节点（如优化器状态、BatchNorm的moving statistics等），这些节点在转换时可能引发算子映射错误。
3.1.2 H5：轻量级单文件格式
H5格式基于HDF5（Hierarchical Data Format 5）标准，将模型架构、权重、优化器状态和编译参数打包为单一文件。这种格式的最大优势是便携性——一个文件即可完整描述模型，非常适合快速原型验证和模型分发。但H5格式存在两个关键限制：其一，它不保存具体的计算图执行顺序，而是依赖Keras的层定义来重建模型；其二，自定义层或复杂控制流在H5中可能无法完整序列化。
对于K210部署，H5格式通常需要先转换为SavedModel或PB格式才能进入NNCase流程。这是因为NNCase需要静态图结构，而H5在加载时需要通过Keras的Functional或Sequential API重新构建模型，这一过程可能引入额外的TensorFlow算子，增加转换失败的风险。
3.1.3 PB：冻结图格式
PB（Protocol Buffer）格式是TensorFlow的原始图序列化格式，通常通过freeze_graph工具将训练图中的变量转换为常量，从而生成一个独立的、不依赖检查点文件的图定义文件。PB格式的核心优势在于其"冻结"特性：所有权重已嵌入图结构，模型完全自包含，且推理时无需加载变量初始化逻辑，执行效率最高。
在K210的NNCase工具链中，PB格式是最受支持的输入类型。NNCase可以直接解析PB文件中的节点定义，将其映射到K210的KPU（Knowledge Processing Unit）指令集。由于PB格式不包含训练相关的额外节点，转换过程中的算子映射更加直接，生成的kmodel体积也更小。
| 对比维度 | SavedModel | H5 | PB（冻结图） |
|---|---|---|---|
| 文件结构 | 目录（含variables/、assets/、saved_model.pb） | 单文件（HDF5格式） | 单文件（二进制Protocol Buffer） |
| 权重存储 | 独立变量文件 | 内嵌于文件 | 冻结为常量节点 |
| 签名信息 | 完整保留（SignatureDef） | 不保留 | 需手动指定输入输出节点 |
| 训练相关节点 | 可能包含 | 可能包含 | 已移除 |
| K210转换适配性 | 需先转为PB | 需先转为SavedModel或PB | 直接支持 |
| 适用场景 | 模型服务、跨平台部署 | 快速实验、模型分发 | 嵌入式部署、推理优化 |
3.2 格式选择判断方法与转换操作流程
面对训练好的模型，开发者需要根据部署目标和工具链要求，选择最合适的保存格式。以下判断流程和操作步骤，可以帮助你快速定位正确的转换路径。
3.2.1 判断方法：从部署目标反推格式
首先明确最终部署目标。如果目标是K210芯片，那么最终产物必须是kmodel格式，而NNCase工具链的输入首选是PB文件。因此，判断逻辑可以简化为：训练产出 → 转换为PB → NNCase转换为kmodel。如果训练时使用了Keras API并保存为H5格式，则需要先通过tf.keras.models.load_model加载，再导出为SavedModel或直接冻结为PB。
另一个判断维度是模型复杂度。对于包含自定义层、注意力机制或动态控制流的模型，SavedModel的完整图信息有助于NNCase进行算子映射；对于标准CNN或小型全连接网络，PB格式的简洁性更有利于减少转换错误。
3.2.2 操作流程：从H5/SavedModel到PB的标准转换
以下代码展示了将H5格式转换为冻结PB格式的完整流程。该过程分为三步：加载模型、导出为SavedModel、冻结为PB。
import tensorflow as tf
from tensorflow.python.framework.convert_to_constants import convert_variables_to_constants_v2
# 1. 加载H5模型
model = tf.keras.models.load_model('mobilenet_v2.h5')
# 2. 导出为SavedModel（保留完整图结构）
tf.saved_model.save(model, 'saved_model_dir')
# 3. 加载SavedModel并冻结为PB
loaded = tf.saved_model.load('saved_model_dir')
infer = loaded.signatures['serving_default']
frozen_func = convert_variables_to_constants_v2(infer)
frozen_func.graph.as_graph_def()
# 4. 保存为PB文件
with tf.io.gfile.GFile('model_frozen.pb', 'wb') as f:
f.write(frozen_func.graph.as_graph_def().SerializeToString())执行上述代码后，生成的model_frozen.pb即可直接输入NNCase工具链。需要注意的是，在步骤3中，serving_default签名是SavedModel默认的推理接口，如果你的模型有多个签名，需要根据实际需求选择。
tf.compat.v1.graph_util.remove_training_nodes清理图中的训练节点。该操作可以移除Dropout、BatchNorm训练分支等无关节点，减少NNCase的解析负担，同时缩小PB文件体积。
3.3 实战案例：MobileNetV2在K210上的格式适配
本案例展示了一个典型的K210部署场景：使用MobileNetV2进行图像分类，训练时保存为H5格式，最终需要转换为kmodel在K210开发板上运行。通过这个案例，你可以看到格式选择对转换成功率的具体影响。
3.3.1 案例背景与初始目标
某智能家居项目需要在K210芯片上实现人体检测功能，选用MobileNetV2作为骨干网络。模型在TensorFlow 2.10中训练，训练完成后保存为mobilenet_v2_human.h5。初始目标是直接将该H5文件输入NNCase工具链，但转换失败，报错信息显示"Unsupported op: FusedBatchNormV3"。
3.3.2 问题分析与转换路径调整
分析报错原因：H5格式在加载时，Keras会自动将BatchNorm层转换为FusedBatchNormV3算子，而NNCase的K210后端不支持该算子。解决思路是：先将H5转换为SavedModel，再冻结为PB，并在冻结过程中将FusedBatchNormV3替换为标准的BatchNorm算子。
具体操作步骤如下：
- 使用
tf.keras.models.load_model加载H5文件，确认模型结构。 - 通过
tf.saved_model.save导出为SavedModel格式。 - 使用
convert_variables_to_constants_v2冻结模型，同时设置freeze_bn=True参数（部分TF版本支持）或手动遍历图节点替换算子。 - 验证PB文件中的算子类型，确保不再包含FusedBatchNormV3。
# 检查PB文件中的算子类型
from tensorflow.core.framework import graph_pb2
with tf.io.gfile.GFile('model_frozen.pb', 'rb') as f:
graph_def = graph_pb2.GraphDef()
graph_def.ParseFromString(f.read())
op_types = set(node.op for node in graph_def.node)
print("包含的算子类型:", op_types)
# 输出应包含: Conv2D, DepthwiseConv2dNative, Relu6, AvgPool, Reshape, Softmax 等3.3.3 转换结果与性能对比
完成格式转换后，将PB文件输入NNCase工具链，成功生成kmodel。在K210开发板上进行推理测试，结果如下：
| 指标 | 直接使用H5转换（失败） | 使用PB转换（成功） |
|---|---|---|
| 转换成功率 | 0%（算子不支持） | 100% |
| kmodel大小 | — | 4.2 MB |
| 推理延迟（K210@400MHz） | — | 约180ms |
| RAM占用 | — | 约1.1 MB |
从结果可以看出，正确的格式选择直接决定了部署的成败。虽然H5格式在训练阶段非常便捷，但在K210部署链路中，PB格式的兼容性优势是无可替代的。
None维度），NNCase可能无法确定输入尺寸。建议在训练时固定输入shape（如224x224x3），或在冻结前使用model.build(input_shape)指定具体维度。
3.4 常见误区与总结复盘
在K210模型转换的实践中，开发者常陷入以下误区，导致转换失败或部署性能不佳。
3.4.1 误区一：认为H5可以直接用于嵌入式部署
H5格式虽然方便，但其依赖Keras运行时环境，无法被NNCase直接解析。许多初学者试图将H5文件直接拖入NNCase工具链，结果遭遇大量算子不支持的错误。正确的做法是：始终将H5作为中间格式，通过SavedModel过渡到PB，再进行最终转换。
3.4.2 误区二：忽略输入输出节点的指定
PB格式不包含签名信息，NNCase需要用户手动指定输入和输出节点名称。如果节点名称错误，转换过程会报错或生成错误的kmodel。建议在冻结PB时，使用print(graph_def.node)查看节点名称，并记录输入节点（通常是input_1或serving_default_input_1）和输出节点（通常是Softmax或Identity）。
3.4.3 误区三：忽视量化对格式的影响
K210的KPU支持8位整数运算，因此NNCase通常要求模型进行量化。量化过程可以在PB转换后进行，也可以在NNCase内部完成。如果使用TensorFlow的量化感知训练（QAT），则必须保存为SavedModel格式以保留量化相关的伪量化节点，然后再转换为PB。此时，PB文件中的算子类型会包含FakeQuantWithMinMaxVars，NNCase会识别这些节点并生成对应的量化参数。
3.4.4 总结复盘：格式选择的决策清单
- 训练阶段：使用H5格式快速保存和加载模型，便于迭代实验。
- 部署准备阶段：将H5转换为SavedModel，保留完整图结构和签名信息。
- 转换阶段：将SavedModel冻结为PB，移除训练节点，固定权重为常量。
- 最终部署：将PB输入NNCase，生成kmodel并烧录至K210。
通过遵循这一流程，你可以最大程度地避免格式不兼容问题，确保模型在K210上的高效运行。记住，格式选择不是技术偏好，而是部署链路中不可忽视的工程决策。