3、模型格式与转换工具链：ONNX/TensorRT/TFLite 格式对比、PyTorch 模型导出为 ONNX、ONNX 简化与优化、模型量化原理（INT8/FP16）

模型部署的第一步，就是把训练好的模型「翻译」成目标硬件能听懂的语言。说白了，PyTorch 或 TensorFlow 训练出来的模型，在嵌入式设备上基本没法直接跑。你得先把它转成中间格式，再针对具体芯片做优化。

我个人习惯把这一步叫做「模型格式的巴别塔工程」。不同框架、不同芯片，都有自己的「方言」。ONNX 就是那个通用的世界语，TensorRT 是 NVIDIA 的专属方言，TFLite 则是 Google 为移动端和边缘设备定制的精简版。

3.1 三大主流格式：ONNX / TensorRT / TFLite

先看一张对比表，心里有个底：

ONNX 是模型转换的「中间人」。你从 PyTorch 导出 ONNX，再从 ONNX 转成 TensorRT 或 TFLite。它不负责推理加速，只负责格式统一。

TensorRT 是 NVIDIA 的王牌。它会把计算图做层融合、精度校准、内存复用。我在 Jetson Orin 上部署过 YOLOv8，用 TensorRT 做 INT8 量化后，推理速度比原始 PyTorch 快了将近 8 倍。嗯，代价就是调试起来比较折腾——算子不支持就得自己写插件。

TFLite 是 Google 为移动端和嵌入式设备准备的。它支持委托（Delegate）机制，可以把计算卸载到 GPU、DSP 或 NPU 上。我曾在树莓派上用 TFLite 跑过 MobileNet，虽然速度比不上 Jetson，但胜在生态成熟、文档齐全。

3.2 PyTorch 模型导出为 ONNX

这一步其实不复杂，但坑不少。核心 API 就一个：torch.onnx.export()。

我直接给一个我常用的导出模板：

import torch
import torch.onnx

# 假设你有一个训练好的模型
model = YourModel()
model.load_state_dict(torch.load('model.pth'))
model.eval()

# 构造一个 dummy input（形状要和实际输入一致）
dummy_input = torch.randn(1, 3, 224, 224)

# 导出 ONNX
torch.onnx.export(
    model,                      # 模型
    dummy_input,                # 示例输入
    'model.onnx',               # 输出路径
    export_params=True,         # 导出参数
    opset_version=11,           # 算子集版本（建议 11 或更高）
    do_constant_folding=True,   # 常量折叠优化
    input_names=['input'],      # 输入名称
    output_names=['output'],    # 输出名称
    dynamic_axes={              # 动态轴（可选）
        'input': {0: 'batch_size'},
        'output': {0: 'batch_size'}
    }
)

print("ONNX 导出完成！")

这里有几个关键点：

• opset_version：我建议用 11 或 13。版本太低会缺少一些算子，版本太高有些推理引擎不支持。
• dynamic_axes：如果你的模型需要支持动态 batch size，一定要配这个。否则导出的 ONNX 会固定 batch size 为 1。
• do_constant_folding：建议开启。它会把一些常量计算提前算好，减少推理时的计算量。

3.3 ONNX 简化与优化

导出的 ONNX 模型往往包含很多冗余操作。比如，PyTorch 的 nn.Dropout 在推理模式下虽然不生效，但 ONNX 里可能还会保留它的计算图。这时候就需要做简化。

我常用的工具是 onnx-simplifier：

pip install onnx-simplifier

python -m onnxsim model.onnx model_simplified.onnx \
    --input-shape 1,3,224,224 \
    --dynamic-input-shape

它会做以下几件事：

• 删除无用的节点（比如恒等映射、冗余 reshape）
• 常量折叠（把能提前算的常量计算掉）
• 合并相邻的算子（比如 Conv + BN → Conv）

简化后的模型体积通常会缩小 10%~30%，推理速度也有提升。

除了简化，还可以用 onnxruntime 做性能分析：

import onnxruntime as ort

session = ort.InferenceSession('model_simplified.onnx')
# 获取 profiling 数据
session.run_with_ort_format(...)

我个人习惯在简化后，用 onnxruntime 跑一遍推理，对比输出精度。如果精度偏差超过 1%，就要检查是不是简化过程出了问题。

3.4 模型量化原理：INT8 / FP16

量化，说白了就是用更少的数据位宽来表示模型参数和激活值。FP32 是 32 位浮点，FP16 是 16 位浮点，INT8 是 8 位整数。

为什么要量化？

• 模型体积缩小：FP32 → INT8，体积缩小 4 倍。
• 推理速度提升：INT8 计算比 FP32 快 2~4 倍（取决于硬件）。
• 功耗降低：更少的位宽意味着更少的内存访问和计算能耗。

量化的核心公式很简单：

q = round(r / scale) + zero_point

其中 r 是浮点值，scale 是缩放因子，zero_point 是零点偏移。反量化就是逆过程：

r = (q - zero_point) * scale

量化方式主要有两种：

FP16 量化相对简单，直接把 FP32 的权重截断为 FP16 即可。INT8 量化则需要做校准，因为 INT8 的动态范围比 FP32 小得多。

3.5 知识体系总览

下面这张图总结了本章的核心流程：

从 PyTorch 训练模型开始，经过 ONNX 导出、简化优化，再根据目标硬件选择 TensorRT、TFLite 或 ONNX Runtime，最后做量化部署。每一步都有对应的工具和注意事项。