VIP20
本课程属于：020-SMILES分子生成建模 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

ONNX与TensorRT推理优化应用实践

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程介绍与环境搭建
ONNX与TensorRT概览 · 应用场景 · 软硬件要求
课程介绍环境搭建
02
ONNX基础与模型格式
ONNX简介 · IR与proto定义 · 模型结构（图
ONNX模型格式
03
ONNX算子与图结构
算子集版本 · 自定义算子 · 图遍历与拓扑排序
ONNX算子
04
ONNX模型导出（PyTorch）
torch.onnx.export参… · 动态轴设置 · 算子支持列表与替代方案
ONNXPyTorch
05
ONNX模型导出（TensorFlow）
tf2onnx转换 · Keras模型导出 · 冻结图与SavedModel处理
ONNXTensorFlow
06
ONNX模型导出（其他框架）
PaddlePaddle导出ONNX · ONNX转换器汇总 · onnxruntime/tools转…
ONNX模型导出
07
ONNX模型验证与调试
onnx.checker · onnx.shape_inferen… · onnxruntime推理对比
ONNX模型验证
08
ONNX优化概览
优化目标（减少计算 · 减少内存 · 提高缓存命中）
ONNX优化概览
09
常量折叠与节点消除
常量折叠原理 · 剔除死节点与Dead Code El… · Identity消除
常量折叠节点消除
10
算子融合与图优化
Conv+BN融合 · Conv+Add+Relu融合 · Gemm+BN融合
算子融合图优化
11
ONNX Runtime基础推理
Session配置 · Execution Provider… · 输入输出绑定
ONNXRuntime
12
ONNX Runtime性能调优
SessionOptions优化（图… · 内存模式 · 线程数）
ONNXRuntime
13
TensorRT介绍与架构
TensorRT核心组件（Build… · Network · Engine
TensorRT介绍
14
TensorRT安装与开发环境
官方安装包与预编译 · 源码编译 · cmake配置
TensorRT安装
15
TensorRT模型构建（Builder）
BuilderConfig设置（Wo… · Flag · TacticSources）
TensorRTBuilder
16
TensorRT网络定义（INetworkDefinition）
手动构建网络（Input · Layer · Output）
TensorRTINetworkDefi…
17
TensorRT优化层（Optimization Profiles）
K维设置 · 多Profile配置 · 动态batch与动态分辨率实战
TensorRTOptimization
18
TensorRT推理引擎（IExecutionContext）
创建Context · enqueue与execute · 同步与异步
TensorRTIExecutionCo…
19
TensorRT显存管理
内存池与碎片 · Workspace动态调整 · 显存预分配与复用
TensorRT显存管理
20
TensorRT量化原理（FP16/INT8）
量化数学基础 · 校准数据集与Calibrator · TensorRT INT8校准流程（…
TensorRTFP16/INT8
21
TensorRT量化实践（PTQ）
后训练量化步骤 · 校准数据准备 · INT8精度与速度调优
TensorRTPTQ
22
TensorRT量化实践（QAT）
训练时量化（FakeQuant） · 导出带QDQ的ONNX · TensorRT解析QDQ节点
TensorRTQAT
23
TensorRT动态形状与多profile
动态输入设置（-1） · 多Optimization Prof… · 场景适配（目标检测
TensorRTprofile
24
TensorRT插件开发
IPluginV2接口实现 · Plugin注册与序列化 · 自定义算子案例（如GELU
TensorRT插件开发
25
ONNX-TensorRT转换（trtexec）
命令行工具用法 · 常见参数（--fp16 · --int8
ONNX-TensorR…trtexec
26
ONNX-TensorRT转换（Python API）
使用NvOnnxParser解析 · 自定义校准器 · 从ONNX直接构建Engine
ONNX-TensorR…Python
27
推理服务部署（Triton Inference Server）
Triton架构 · Model Repository · TensorRT Backend配置
TritonInference
28
性能分析与Profiling
TensorRT Profiler · NVIDIA Nsight Syst… · chrono计时与逐层耗时统计
Profiling性能分析
29
常见问题与调优经验
Engine加载失败 · 精度不一致 · 显存不足
常见问题调优经验
30
综合实战
端到端部署管线
综合实战端到端部署管线