4. FP32模型转换：使用工具将FP32模型转换为TPU可执行的bmodel

在算能TPU（如BM1684X、BM1688等）的部署流程中，将训练好的FP32模型转换为TPU可执行的bmodel是进入硬件加速的第一步，也是决定后续量化精度与推理性能的基石。bmodel是算能TPU的二进制模型格式，它封装了模型结构、权重参数以及针对TPU指令集优化的计算图。本章将深入讲解FP32模型转换的完整流程，重点剖析转换工具（如bmnetu）的核心参数语义，特别是输入形状与动态维度的设置方法，并结合实际案例帮助学员建立从PyTorch/TensorFlow模型到bmodel的工程化思维。

上图展示了FP32模型转换bmodel的核心链路。从左侧的FP32模型（支持PyTorch、ONNX、TFLite等格式）出发，经过bmnetu转换工具，并配合--input-shape、--dynamic等关键参数，最终生成右侧的bmodel文件。整个过程看似简单，但参数设置不当会导致编译失败、推理精度异常或性能严重下降。接下来，我们将从核心原理、操作流程、案例拆解和常见误区四个维度展开详细讲解。

4.1 核心原理：bmodel的生成机制与FP32转换的本质

bmodel是算能TPU的专用模型格式，它不仅仅是权重和结构的简单打包，而是经过编译器深度优化后的指令序列集合。FP32转换的本质是将浮点计算图映射到TPU的硬件指令集上，包括矩阵乘法单元（TMAC）、向量单元、激活函数单元等。转换过程主要包含以下三个步骤：

1. 前端解析：bmnetu首先读取输入的FP32模型文件，解析其计算图结构。对于PyTorch模型，通常需要先导出为ONNX格式；对于TensorFlow模型，则直接支持GraphDef或SavedModel格式。
2. 图优化与指令生成：编译器对计算图进行算子融合（如Conv+BN+ReLU融合）、内存布局优化、指令调度等操作，生成TPU可执行的指令序列。此阶段会严格检查算子的支持情况，不支持的算子会导致转换失败。
3. 权重与参数打包：将FP32权重数据按TPU的内存对齐要求重新排列，并嵌入到bmodel文件中。同时生成模型的元信息，包括输入输出形状、数据类型、动态维度范围等。

在FP32转换阶段，输入形状（input shape）是编译器进行内存规划和指令生成的最关键依据。TPU的片上内存（SRAM）和外部存储（DDR）的分配策略完全依赖于输入张量的形状。如果输入形状设置错误，轻则编译失败，重则生成错误的内存访问指令导致运行时崩溃。

4.2 判断方法与操作流程：转换工具的参数设置

算能TPU的模型转换工具链以bmnetu为主，同时提供bmnetp（PyTorch专用）和bmnett（TensorFlow专用）等变体。以下以bmnetu为例，介绍FP32转换的标准操作流程。

4.2.1 环境准备与模型前置处理

在转换之前，需要确保模型满足以下条件：

• 模型输入为固定维度（或明确标注动态维度范围），且数据类型为FP32。
• 模型中的算子均在TPU支持列表中。常见的不支持算子包括自定义RNN、某些高级索引操作等，需提前替换或移除。
• 对于PyTorch模型，建议先导出为ONNX格式，并使用onnx-simplifier进行简化，以减少不必要的节点。

4.2.2 转换命令与参数详解

一个典型的FP32转换命令如下：

bmnetu --model=model.onnx \
       --input-shape="1,3,224,224" \
       --outdir=./output \
       --net_name=resnet50_fp32 \
       --target=BM1684X \
       --dyn=false

各参数含义如下表所示：

参数名	必选/可选	说明	示例值
--model	必选	输入模型文件路径，支持ONNX、TFLite、Caffe等格式	model.onnx
--input-shape	必选	输入张量的形状，格式为逗号分隔的维度列表，可包含多个输入	"1,3,224,224"
--outdir	可选	输出目录，默认当前目录	./output
--net_name	可选	生成的bmodel名称，默认与模型文件名相同	resnet50_fp32
--target	可选	目标TPU平台，如BM1684X、BM1688等	BM1684X
--dyn	可选	是否启用动态维度，false表示静态形状	false
--input-scale	可选	输入数据的缩放因子，用于预处理归一化	1.0

4.2.3 动态维度的设置策略

动态维度允许模型在推理时接受不同形状的输入，但会牺牲一定的性能。在bmnetu中，动态维度通过--dyn=true和--input-shape中的-1占位符实现。例如：

bmnetu --model=model.onnx \
       --input-shape="-1,3,-1,-1" \
       --dyn=true \
       --outdir=./output_dyn

上述命令表示batch维度和H/W维度均可变。但需要注意：

• 动态维度会显著增加编译时间，因为编译器需要为可能的形状组合生成多个优化分支。
• TPU的内存分配策略会变得保守，导致片上内存利用率下降，推理速度可能降低20%-50%。
• 动态维度范围应在模型设计时明确，避免运行时出现超出范围的形状。

4.3 案例拆解：ResNet50 FP32转换实战

以下通过一个完整的ResNet50分类模型转换案例，展示从ONNX到bmodel的实操过程，并对比静态与动态形状的差异。

4.3.1 背景与目标

某安防项目需要在BM1684X设备上部署ResNet50模型，输入为摄像头采集的224x224 RGB图像。项目初期要求FP32精度作为基准，后续再考虑INT8量化。团队需要生成一个可运行的bmodel，并验证其输出与原始PyTorch模型一致。

4.3.2 初始现象与关键数据

原始PyTorch模型在GPU上测试准确率为76.5%（ImageNet验证集）。导出为ONNX后，使用onnx.checker校验通过。转换命令如下：

bmnetu --model=resnet50.onnx \
       --input-shape="1,3,224,224" \
       --outdir=./fp32_bmodel \
       --net_name=resnet50_fp32 \
       --target=BM1684X \
       --dyn=false

编译过程输出日志显示：

[INFO] Parsing ONNX model... Done.
[INFO] Graph optimization: 58 nodes fused, 12 nodes removed.
[INFO] Memory allocation: SRAM 4.2MB, DDR 98.5MB.
[INFO] Compilation successful. Output: ./fp32_bmodel/resnet50_fp32.bmodel

4.3.3 分析判断与操作步骤

编译成功后，团队使用bmrt_test工具加载bmodel并输入随机数据，对比输出与PyTorch的差异。关键步骤如下：

1. 使用bmrt_test --bmodel=./fp32_bmodel/resnet50_fp32.bmodel --input=random进行冒烟测试，确认无运行时错误。
2. 提取一组真实图像（10张），分别通过PyTorch和bmodel推理，计算输出logits的余弦相似度。结果显示相似度均大于0.9999，验证了FP32转换的数值一致性。
3. 测试不同batch size（1、4、8）下的推理延迟。静态形状下，batch=8时TPU利用率最高，达到85%，单张图像延迟为2.1ms。

4.3.4 结果对比与风险分析

作为对比，团队尝试了动态维度版本（--dyn=true --input-shape="-1,3,-1,-1"）。编译时间从静态的3分钟增加到15分钟，且推理延迟在batch=1时从2.1ms上升到3.4ms，性能下降约38%。此外，动态版本的内存占用增加了12%，因为编译器为不同形状预留了额外缓冲。

最终团队选择静态形状方案，并计划在后续版本中针对batch=8进行专门优化。此案例表明，静态形状是性能优先场景的首选，动态维度仅在必要时使用。

4.4 常见误区与总结复盘

在FP32模型转换的实践中，学员常犯以下错误，需要特别注意：

• 忽略输入形状的NCHW/NHWC格式：PyTorch默认NCHW，TensorFlow默认NHWC。转换时必须明确指定，否则会导致数据排列错误，推理结果完全错误。
• 动态维度设置过于宽泛：例如将H和W都设为-1，导致编译器无法有效优化。建议限制动态范围，如--input-shape="1,3,224~512,224~512"（具体语法需查阅工具文档）。
• 混淆FP32转换与INT8量化：FP32转换不涉及校准数据集，而INT8量化需要准备校准集并执行量化过程。两者是独立的步骤，不要混用。
• 忽视预处理对齐：bmodel的输入数据通常需要按特定格式（如RGB顺序、归一化系数）预处理。转换时设置的--input-scale等参数必须与推理代码中的预处理一致。