4、模型优化流程：从ONNX到TensorRT的转换流程、精度校准（FP16/INT8）、动态形状处理、引擎序列化与反序列化

将训练好的PyTorch或TensorFlow模型部署到边缘设备，从来不是简单的“导出-加载”两步走。TensorRT作为NVIDIA推出的高性能推理优化器，其核心价值在于通过层融合、精度校准、内核自动调优等手段，将通用框架模型转换为针对特定GPU架构优化的推理引擎。本章将完整拆解从ONNX中间表示到TensorRT引擎的工程化路径，重点覆盖转换流程、FP16/INT8精度校准、动态形状（Dynamic Shape）处理以及引擎的序列化与反序列化，帮助你在延迟预算约束下做出正确的调参决策。

上图展示了从ONNX到TensorRT引擎的完整工程链路。整个流程并非单向的“转换-完成”，而是一个在延迟预算约束下反复迭代的调优过程。下面我们将分四个子模块深入每个环节的实操细节。

4.1 ONNX导出与转换前置检查

核心原理：ONNX（Open Neural Network Exchange）作为中间表示，其质量直接决定TensorRT的优化上限。TensorRT通过ONNX Parser将模型解析为内部图表示（Network Definition），随后执行图优化。如果ONNX中存在TensorRT不支持的算子或动态控制流，Parser会报错或产生低效的子图替换。

操作流程：

1. 算子版本对齐：使用 torch.onnx.export 时，设置 opset_version=17 或更高（取决于TensorRT版本），确保支持 ScatterND、Resize 等常用算子。
2. 输入输出命名与类型：固定输入输出名称，推荐使用 input_ids、output_logits 等语义化名称，便于后续绑定TensorRT上下文。
3. 动态轴标记：若需动态batch或动态分辨率，在导出时使用 dynamic_axes={'input': {0:'batch', 2:'height', 3:'width'}}。
4. 静态图检查：使用 onnx.checker.check_model 验证模型完整性，并用 onnxruntime 或 onnxsim 进行形状推断和常量折叠。

4.2 精度校准：FP16与INT8的工程实践

核心原理：TensorRT默认FP32推理。FP16通过半精度存储和计算，在Volta及以上架构可获得约2倍吞吐提升；INT8则通过将激活和权重量化为8位整数，配合缩放因子（Scale）实现更高吞吐，但需要校准过程确定动态范围。

校准方法对比：

INT8校准实操：

# 伪代码示例
calibrator = trt.IInt8EntropyCalibrator2(
    calibration_data=loader,  # 100~500张代表性样本
    cache_file="calib.cache"
)
config.set_flag(trt.BuilderFlag.INT8)
config.int8_calibrator = calibrator
# 构建引擎后，calib.cache 可复用，避免重复校准

案例拆解：某安防检测模型（YOLOv5s）在Jetson Orin上，FP32延迟为18ms，FP16降至9.2ms，INT8进一步降至4.8ms。但INT8校准后mAP从0.742降至0.731（-1.5%），通过以下步骤恢复精度：

• 使用500张包含不同光照、遮挡的实景图校准，而非简单随机采样。
• 对敏感层（如检测头）执行 set_precision(trt.float32) 强制保留FP32。
• 采用 MinMaxCalibrator 对比熵校准，最终选择KL散度校准并缓存。

4.3 动态形状处理：灵活性与性能的平衡

核心原理：动态形状允许引擎在不同输入尺寸间切换，但TensorRT需要为每个形状范围生成优化内核。范围过宽会导致内核选择空间爆炸，增加构建时间和显存占用；范围过窄则失去动态意义。

配置方法：

profile = builder.create_optimization_profile()
profile.set_shape("input", min=(1,3,224,224), opt=(4,3,512,512), max=(8,3,1024,1024))
config.add_optimization_profile(profile)

关键决策点：

• min/opt/max的选择：opt形状应代表最常见场景，TensorRT会针对opt形状做最深度优化。例如视频分析中，opt设为(4,3,1088,1920)以匹配主流分辨率。
• 多Profile支持：若输入形状呈多模态分布（如同时处理1080p和720p），可创建多个Profile，运行时根据实际输入选择。
• 显存与延迟权衡：动态形状需要额外的上下文内存池，建议设置 set_memory_pool_limit 控制显存占用。

4.4 引擎序列化与反序列化：部署的最后一公里

核心原理：构建TensorRT引擎是一个耗时操作（通常数十秒到数分钟），不可能在每次推理时重复构建。引擎序列化将优化后的网络定义、权重、内核选择结果保存为二进制Plan文件；反序列化则直接加载Plan文件到GPU显存，实现毫秒级启动。

序列化与加载流程：

# 序列化
with open("engine.plan", "wb") as f:
    f.write(engine.serialize())

# 反序列化
with open("engine.plan", "rb") as f:
    runtime = trt.Runtime(logger)
    engine = runtime.deserialize_cuda_engine(f.read())

工程注意事项：

实战场景：在智能相机上部署姿态估计模型，要求冷启动时间<2秒。我们预先在服务器上构建好FP16引擎（序列化后约45MB），通过OTA分发到设备。设备首次启动时反序列化耗时约800ms，满足要求。后续每次推理使用同一引擎，延迟稳定在7ms。