VIP20

本课程属于：001-大模型推理部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

推理引擎选型与对比

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

推理引擎概述

什么是推理引擎、推理引擎在AI系统中的位置、为什么需要专门的推理引擎。

主流推理引擎概览

TensorRT、ONNX Runtime、OpenVINO、Triton Inference Server、PyTorch的torch.compile。

TensorRT深度解析（上）

TensorRT核心概念、网络定义与优化器、层融合与精度校准。

TensorRT深度解析（下）

动态形状支持、插件编写、C++/Python API实战。

ONNX Runtime深度解析

ONNX模型格式、Execution Provider机制、跨平台部署策略。

OpenVINO深度解析

Intel硬件生态、模型优化器、推理管线构建。

Triton Inference Server深度解析

服务化架构、模型并发管理、动态批处理。

Triton服务化

PyTorch原生推理

torch.jit.trace与script、torch.compile、torch.export。

推理引擎性能对比方法论

延迟、吞吐量、内存占用、功耗的测量与解读。

精度对比与校准

FP32/FP16/INT8/INT4精度对比、校准数据集构建、精度损失评估。

硬件适配性分析

NVIDIA GPU、Intel CPU/GPU、ARM、NPU、FPGA的引擎支持。

模型格式与转换

ONNX、TensorRT Plan、OpenVINO IR、TorchScript格式对比。

动态形状与静态形状

静态形状优化优势、动态形状场景、引擎支持对比。

算子支持度对比

各引擎支持的算子集合、自定义算子方案、回退策略。

多模型与模型管线

多模型串联、模型版本管理、A/B测试架构。

服务化部署对比

Triton vs TensorFlow Serving vs TorchServe。

服务化对比

边缘端推理引擎选型

TensorRT Lite、ONNX Runtime Mobile、NCNN、TNN。

边缘移动端

云端推理引擎选型

大规模集群部署、弹性伸缩、GPU虚拟化。

推理引擎与训练框架的衔接

PyTorch→ONNX→TensorRT全链路实战。

推理引擎的编译优化技术

图优化、算子融合、内存复用、内核自动调优。

推理引擎的量化技术

训练后量化(PTQ)、量化感知训练(QAT)、混合精度量化。

推理引擎的缓存与预热

模型加载优化、推理缓存、JIT预热策略。

推理引擎的日志与监控

性能指标采集、异常检测、可观测性。

监控可观测

推理引擎的安全与隔离

模型加密、沙箱执行、资源隔离。

推理引擎的社区与生态

各引擎社区活跃度、文档质量、商业支持。

推理引擎选型决策框架

需求分析、技术评估、成本考量、长期演进。

实战案例一：图像分类模型在NVIDIA GPU上的TensorRT部署

从PyTorch模型到TensorRT端到端部署流程。

实战案例二：NLP模型在Intel CPU上的OpenVINO部署

BERT模型转换、优化与CPU推理加速。

实战案例三：多模态模型在Triton上的服务化部署

多模态模型打包、并发调度与REST/gRPC服务。

推理引擎未来趋势

统一IR、动态编译、异构计算、AI编译器。