📚 课程目录第4章主流推理引擎概览

4. 主流推理引擎概览

在自动驾驶推理引擎性能分析与调优工程中，选择推理引擎往往比调参更早决定性能上限。不同引擎在硬件绑定、图优化策略、量化支持、算子覆盖和部署形态上差异明显。理解它们的特点与适用场景，是后续做性能剖析、算子替换和量化调优的前提。

核心判断：推理引擎不是“越通用越好”，而是“越匹配目标硬件与模型结构越好”。自动驾驶域控制器常见 NVIDIA Orin、地平线征程、TI TDA4、高通 Ride 等平台，引擎选择必须与芯片、算子库和量产工具链对齐。

一、核心原理：推理引擎在做什么

推理引擎本质上是把训练框架导出的计算图，经过图优化、算子融合、内存复用、量化校准和内核调度，最终映射到目标硬件的执行单元上。其性能差异主要来自四个层面：

图级优化：常量折叠、死代码消除、算子融合（Conv+BN+ReLU）、布局转换（NCHW→NHWC）。
算子级实现：是否调用 cuDNN、cuBLAS、oneDNN、ARM Compute Library 等厂商库，或自研高性能 kernel。
精度与量化：FP32、FP16、INT8、混合精度，以及校准表生成方式。
运行时调度：多流并行、内存池、动态 shape、异步执行与零拷贝。

下面这张图概括了主流引擎在“模型来源—优化路径—目标硬件”上的定位关系，便于快速建立选型直觉。

二、方法流程：从模型到引擎的落地步骤

无论选择哪种引擎，落地流程大体一致，但每步的侧重点不同：

模型导出：PyTorch→ONNX，Paddle→Paddle Inference 格式，MindSpore→MINDIR/Lite。导出时固定输入 shape，避免动态维度带来额外开销。
图优化与算子检查：用引擎自带工具查看哪些算子被融合、哪些回退到 CPU。回退算子往往是性能瓶颈。
精度选择：先 FP16 验证精度，再尝试 INT8 校准。自动驾驶感知模型对 INT8 敏感，需逐层比对余弦相似度。
构建与序列化：TensorRT 生成 engine，OpenVINO 生成 IR，TVM 生成 so，MindSpore Lite 生成 ms。
运行时集成：配置多流、内存池、异步推理，并与 ROS/中间件做零拷贝对接。

# TensorRT 典型构建命令
trtexec --onnx=perception.onnx \
        --saveEngine=perception_fp16.engine \
        --fp16 --workspace=4096 \
        --minShapes=input:1x3x640x640 \
        --optShapes=input:1x3x640x640 \
        --maxShapes=input:1x3x640x640

# ONNX Runtime 量化示例
python -m onnxruntime.quantization.preprocess \
  --input model.onnx --output model_pre.onnx
python -m onnxruntime.quantization.quantize_static \
  --input model_pre.onnx --output model_int8.onnx \
  --calibrate_dataset calib_data/

三、案例/场景：自动驾驶中的引擎选型

以某 L2+ 域控制器为例，感知模型包含 BEV 主干、检测头和分割头。若平台为 NVIDIA Orin，首选 TensorRT：它能将 Conv+BN+SiLU 融合，并用 DLA 卸载部分算子，FP16 下延迟可降 40% 以上。若平台为 Intel 车载计算盒，OpenVINO 对 CPU/GPU 的异构调度更成熟，INT8 在 CPU 上收益明显。若模型来自 PaddlePaddle 且需快速量产，Paddle Inference 的算子覆盖最完整，避免大量自定义算子回退。若团队需要把同一模型部署到多种 ARM 芯片，TVM 的自动调优和跨后端能力更有优势，但编译调优周期较长。MindSpore Lite 则适合端侧轻量模型，如驾驶员监控中的小网络。

引擎	核心优势	典型硬件	适用场景	主要限制
TensorRT	GPU 极致优化、融合深、DLA 支持	NVIDIA Orin/Xavier	BEV、大主干感知	绑定 NVIDIA，构建耗时
ONNX Runtime	跨平台、生态广、EP 插件多	CPU/GPU/NPU	快速验证、多平台兜底	极致性能不如专用引擎
OpenVINO	Intel 异构调度、INT8 成熟	Intel CPU/GPU/VPU	座舱、边缘计算盒	非 Intel 平台收益有限
TVM	编译式自动调优、后端可扩展	ARM/自定义加速器	多芯片统一部署	调优周期长、算子覆盖需补
Paddle Inference	飞桨原生、算子全、中文文档好	CPU/GPU/国产芯片	Paddle 模型量产	生态相对封闭
MindSpore Lite	端侧轻量、低内存、昇腾协同	ARM/昇腾	DMS、小模型端侧	大模型支持有限

四、误区与复盘

常见误区一：只看峰值算力，不看算子回退。某模型在 TensorRT 上 30% 算子回退到 CPU，实际延迟反而高于 ONNX Runtime。误区二：盲目 INT8。感知模型量化后 mAP 掉点超过阈值，需逐层校准或混合精度。误区三：忽略构建期与运行期分离。TensorRT engine 与硬件、驱动、版本强绑定，跨设备需重新构建。

复盘建议：建立“引擎—硬件—模型”三维选型矩阵，先用 ONNX Runtime 做基线，再迁移到目标引擎；每次量化后记录逐层相似度与端到端延迟，形成可追溯的性能档案。

综上，TensorRT 适合 NVIDIA 平台追求极致性能，ONNX Runtime 适合跨平台快速验证，OpenVINO 适合 Intel 异构部署，TVM 适合多芯片编译调优，Paddle Inference 适合飞桨生态量产，MindSpore Lite 适合端侧轻量场景。选型时应以目标硬件、模型结构和量产工具链为约束，而非单纯比较 benchmark 数字。