2. 推理引擎选型：TensorRT、ONNX Runtime、OpenVINO 对比与选型策略
选推理引擎，说白了就是给你的模型选个跑鞋。跑鞋不对，再好的运动员也跑不出成绩。我这些年见过太多团队，模型精度刷得漂漂亮亮，一到线上部署就卡成幻灯片，十有八九是引擎选型出了问题。
今天咱们就把市面上最主流的三个引擎——TensorRT、ONNX Runtime、OpenVINO——掰开揉碎讲清楚。不搞花架子，直接上干货。
核心观点：没有最好的引擎，只有最适合你场景的引擎。选型的关键在于你的硬件平台、模型框架、以及延迟/吞吐量要求。
2.1 三大引擎的定位与核心差异
先给个全景图。这三个引擎的出身决定了它们的性格。
| 维度 | TensorRT | ONNX Runtime | OpenVINO |
|---|---|---|---|
| 出身 | NVIDIA 亲儿子 | 微软 + 社区 | Intel 亲儿子 |
| 核心硬件 | NVIDIA GPU（T4/A100/H100） | CPU/GPU/NPU 多后端 | Intel CPU/集成显卡/VPU |
| 优化策略 | FP16/INT8 量化 + 层融合 + 内核自动调优 | 图优化 + 算子融合 + 执行提供者机制 | 模型压缩 + 图优化 + 硬件特定内核 |
| 模型格式 | .engine / .plan | .onnx | .xml + .bin (IR) |
| 典型场景 | 云端高吞吐、自动驾驶、实时视频 | 跨平台部署、模型服务、边缘设备 | 边缘计算、工业视觉、智慧安防 |
你看这个表就明白了——TensorRT 是专为 NVIDIA GPU 打造的极致性能引擎，它能把 FP32 模型压到 FP16 甚至 INT8，延迟能降 2-5 倍。我有个项目，把 BERT 模型从 PyTorch 转到 TensorRT，推理延迟从 35ms 直接干到 8ms，吞吐量翻了 4 倍多。
ONNX Runtime 呢？它是个“和事佬”。它不挑硬件，CPU 能跑，GPU 也能跑，甚至能在树莓派上跑。它的核心价值在于：你只要把模型转成 ONNX 格式，它就能在各种执行提供者（CUDA、TensorRT、OpenVINO、DirectML）之间无缝切换。说白了，它是模型格式的“通用语言”。
OpenVINO 是 Intel 的看家本领。它专门优化 Intel CPU 和集成显卡上的推理性能。我做过一个对比测试：同样的 ResNet-50 模型，在 Intel Xeon 上用 OpenVINO 推理，比直接用 PyTorch 快了 3 倍。而且它对 Intel 的集成显卡优化得特别好，很多边缘设备没有独立显卡，OpenVINO 就是首选。
我的经验：如果你团队里既有 NVIDIA GPU 又有 Intel CPU 的机器，别纠结。用 ONNX Runtime 做统一入口，GPU 机器上挂 TensorRT 执行提供者，CPU 机器上挂 OpenVINO 执行提供者。一套代码，到处跑。
2.2 TensorRT：为极致性能而生
TensorRT 的优化手段，说白了就是三板斧：量化、层融合、内核自动调优。
- 量化：把 FP32 的权重和激活值压缩到 FP16 或 INT8。精度损失通常不到 1%，但速度能翻倍。
- 层融合：把 Conv + BN + ReLU 这种连续操作合并成一个内核，减少显存读写和内核启动开销。
- 内核自动调优：针对你的 GPU 型号，自动搜索最优的卷积算法和 tile 大小。
举个例子，一个典型的卷积网络，经过 TensorRT 优化后，计算图会变成这样：
// 优化前（PyTorch 计算图）
Input → Conv2d → BatchNorm → ReLU → MaxPool → Conv2d → BatchNorm → ReLU → ...
// 优化后（TensorRT 融合后）
Input → CBR (Conv+Bias+ReLU) → MaxPool → CBR → ...嗯，这里要注意：TensorRT 的优化不是免费的。它需要做一次“构建（build）”，这个过程可能耗时几分钟到几小时，取决于模型大小和 GPU 型号。我有个同事，在 A100 上构建一个 GPT 规模的模型，跑了整整 6 个小时。所以生产环境里，我们通常把构建好的 .engine 文件序列化保存，部署时直接加载，避免重复构建。
避坑指南：我曾经在一个项目里，直接把 PyTorch 模型转 ONNX 再转 TensorRT，结果推理结果全是 NaN。查了两天才发现，模型里有个自定义的 LayerNorm 实现，TensorRT 不支持。解决方案是：要么用 TensorRT 官方支持的算子重写，要么用 Plugin 扩展。所以，转 TensorRT 前，一定要检查算子兼容性。
2.3 ONNX Runtime：跨平台的瑞士军刀
ONNX Runtime 的设计哲学很聪明——它不跟硬件绑定，而是通过“执行提供者（Execution Provider）”机制，把推理任务派发给最合适的后端。
它的架构大概是这样的：
ONNX 模型 → ONNX Runtime Session
├── CPU Execution Provider (默认)
├── CUDA Execution Provider (NVIDIA GPU)
├── TensorRT Execution Provider (通过 TensorRT 优化)
├── OpenVINO Execution Provider (Intel 硬件)
└── DirectML Execution Provider (Windows 设备)你想想看，这意味着什么？你只需要维护一份 ONNX 模型，然后在不同硬件上切换执行提供者就行了。代码改动量极小。
我个人的习惯是：先用 ONNX Runtime 的 CPU 执行提供者做功能验证，确保模型转换正确、精度达标。然后再切换到 GPU 或 TensorRT 执行提供者，做性能优化。这样调试效率高很多。
关键点：ONNX Runtime 本身不做硬件级别的极致优化，它的优势在于“调度”和“兼容”。如果你追求单卡极致性能，还是得上 TensorRT 或 OpenVINO。但如果你需要一套代码覆盖多种硬件，ONNX Runtime 是不二之选。
2.4 OpenVINO：Intel 生态的护城河
OpenVINO 的全称是 Open Visual Inference & Neural Network Optimization。名字很长，但核心就两件事：模型优化器（Model Optimizer）和推理引擎（Inference Engine）。
- Model Optimizer：把 TensorFlow、PyTorch、ONNX 等格式的模型，转换成 OpenVINO 的中间表示（IR），包含 .xml（网络结构）和 .bin（权重）。
- Inference Engine：加载 IR 模型，在 Intel CPU、集成显卡、VPU 等硬件上执行推理。
OpenVINO 对 Intel CPU 的优化非常激进。它利用了 Intel 的 AVX-512 指令集、VNNI 指令（用于 INT8 推理），以及集成显卡的 EU（执行单元）。我测过一个 MobileNetV3 模型，在 i7-1185G7 上用 OpenVINO 推理，延迟只有 2.3ms，比 ONNX Runtime CPU 后端快了将近 2 倍。
我的建议：如果你的部署环境是 Intel CPU 为主，而且没有独立显卡，OpenVINO 是性价比最高的选择。特别是边缘计算场景，比如工业相机、智慧零售终端，OpenVINO 的生态非常成熟。
2.5 选型策略：一张表说清楚
好了，三个引擎都讲完了。最后给个选型决策表，你直接对着自己的场景找答案。
| 你的场景 | 推荐引擎 | 理由 |
|---|---|---|
| 云端 NVIDIA GPU（T4/A100/H100） | TensorRT | 极致性能，FP16/INT8 量化，高吞吐 |
| 边缘 Intel CPU（无独立显卡） | OpenVINO | CPU 优化最好，支持集成显卡 |
| 跨平台部署（CPU + GPU + NPU） | ONNX Runtime | 统一接口，多执行提供者切换 |
| 模型快速验证 + 原型开发 | ONNX Runtime | 无需构建，即转即用 |
| 自动驾驶 / 实时视频分析 | TensorRT | 低延迟要求，GPU 独占 |
| 工业视觉 / 智慧安防 | OpenVINO | Intel 生态成熟，边缘设备多 |
| 混合硬件集群（GPU + CPU 混部） | ONNX Runtime + TensorRT/OpenVINO | 统一入口，按硬件分配执行提供者 |
最后说一句：别迷信任何一个引擎。我见过有人非 TensorRT 不用，结果在 Intel CPU 上跑得比蜗牛还慢。也见过有人死磕 OpenVINO，非要在 A100 上跑，结果性能还不如直接用 PyTorch。选型之前，先搞清楚你的硬件是什么、你的延迟要求是多少、你的团队擅长什么。这才是正经的架构师思维。