4. 推理引擎选择与配置：主流推理引擎对比与参数调优

推理引擎是模型部署的“运行时核心”，负责将训练好的模型加载到内存、优化计算图、调度算子并管理硬件资源。选择错误的引擎或配置不当的参数，可能导致推理延迟增加 3-10 倍、吞吐量下降 50% 以上。本章从引擎架构差异、性能特征、关键配置参数三个维度进行系统对比。

4.1 主流推理引擎架构与适用场景

当前生产环境最常用的四款推理引擎各有侧重：TensorRT 专为 NVIDIA GPU 极致优化；ONNX Runtime 追求跨平台与多后端统一；OpenVINO 面向 Intel CPU/GPU/VPU 生态；Triton Inference Server 则聚焦多模型管理与服务化部署。

4.2 引擎配置参数对性能的影响

推理引擎的配置参数直接影响计算图优化程度、内存占用和执行效率。以下从 构建期 和 运行期 两个阶段分析关键参数。

4.2.1 构建期配置参数

4.2.2 运行期配置参数

4.3 引擎配置实战：TensorRT 与 ONNX Runtime 调优案例

4.3.1 TensorRT 构建配置示例

import tensorrt as trt

TRT_LOGGER = trt.Logger(trt.Logger.WARNING)
builder = trt.Builder(TRT_LOGGER)
network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))
config = builder.create_builder_config()

# 关键配置参数
config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 4 << 30)  # 4GB 工作空间
config.set_flag(trt.BuilderFlag.FP16)                                 # 启用 FP16
config.set_flag(trt.BuilderFlag.INT8)                                 # 启用 INT8
config.set_int8_calibrator(calibrator)                                # 校准器

# 动态形状配置
profile = builder.create_optimization_profile()
profile.set_shape("input", (1, 3, 224, 224), (8, 3, 224, 224), (32, 3, 224, 224))
config.add_optimization_profile(profile)

# 构建引擎
serialized_engine = builder.build_serialized_network(network, config)

4.3.2 ONNX Runtime 会话配置示例

import onnxruntime as ort

sess_options = ort.SessionOptions()

# 图优化级别：全部优化
sess_options.graph_optimization_level = ort.GraphOptimizationLevel.ORT_ENABLE_ALL

# 并行度配置
sess_options.intra_op_num_threads = 4   # 算子内并行
sess_options.inter_op_num_threads = 2   # 算子间并行

# 内存优化
sess_options.enable_cpu_mem_arena = True
sess_options.enable_mem_pattern = True

# 执行模式：异步
sess_options.execution_mode = ort.ExecutionMode.ORT_SEQUENTIAL

# CUDA 执行提供方配置
cuda_provider_options = {
    'device_id': 0,
    'arena_extend_strategy': 'kNextPowerOfTwo',
    'cudnn_conv_algo_search': 'EXHAUSTIVE',
    'do_copy_in_default_stream': True,
}

session = ort.InferenceSession(
    'model.onnx',
    sess_options,
    providers=['CUDAExecutionProvider', 'CPUExecutionProvider'],
    provider_options=[cuda_provider_options, {}]
)

4.4 引擎性能基准测试方法

配置调优必须基于 可复现的基准测试。以下为推荐的测试流程：

1. 定义 SLO：P99 延迟 ≤ 50ms，吞吐量 ≥ 1000 QPS
2. 构建测试负载：使用真实请求分布（形状、batch 大小、到达间隔）
3. 参数扫描：对每个关键参数设置 3-5 个候选值，组合测试
4. 收集指标：延迟分布、吞吐量、GPU 利用率、内存峰值
5. 帕累托分析：筛选出满足 SLO 且资源消耗最小的配置组合

4.5 多引擎混合部署策略

生产环境常采用 Triton Inference Server 作为统一入口，后端挂载多个推理引擎：

4.6 引擎配置参数速查表