VIP20
本课程属于：020-SMILES分子生成建模 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

ONNX与TensorRT模型转换与推理部署

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
ONNX概述与推理加速背景
深度学习推理加速的意义 · ONNX简介 · TensorRT简介
ONNX推理加速背景
02
ONNX模型格式与结构详解
ONNX protobuf结构 · Graph与Node · ValueInfo
ONNX模型格式
03
ONNX Operator与IR规范
常用算子（Conv · Relu · Gemm等）
ONNXOperator
04
ONNX Runtime基础与安装
ONNX Runtime介绍 · pip安装与源码编译 · 支持后端（CPU/GPU/OpenV…
ONNXRuntime
05
ONNX Runtime推理实战（Python API）
Session创建 · run推理 · 输入输出绑定
ONNXRuntime
06
ONNX模型导出（从PyTorch/TensorFlow导出ONNX）
torch.onnx.export · tf2onnx · 动态轴与静态轴设置
ONNXPyTorch/Tens…
07
ONNX模型校验与调试
onnx checker · onnxruntime调试模式 · 节点输出对比
ONNX模型校验
08
ONNX模型优化
图优化与常量折叠 · onnx-simplifier · 图融合常见策略
ONNX模型优化
09
ONNX模型量化基础
量化原理（对称/非对称 · scale/zero_point） · 量化时机（训练后/训练中）
ONNX模型量化基础
10
ONNX动态量化与静态量化
动态量化（weight-only） · 静态量化（校准数据集） · QDQ节点
ONNX动态量化
11
ONNX Runtime性能调优（线程、内存）
SessionOptions配置 · intra/inter op par… · 内存池优化
ONNXRuntime
12
TensorRT概述与核心概念
TensorRT架构 · Builder/Engine/Con… · 精度支持（FP32/FP16/INT…
TensorRT核心概念
13
TensorRT安装与开发环境配置
系统要求 · deb/rpm/tar安装 · 版本匹配（CUDA/cuDNN）
TensorRT安装
14
TensorRT网络定义（Network Definition）
INetworkDefinition · 添加层 · 张量绑定
TensorRTNetwork
15
TensorRT builder与engine构建
Builder配置 · 最大batch/workspace · 构建选项（tactic source…
TensorRTbuilder
16
TensorRT推理引擎（Runtime）使用
IRuntime · 反序列化engine · execute
TensorRTRuntime
17
TensorRT模型转换
从ONNX到TensorRT · 精度设置 · 动态形状处理
TensorRT模型转换
18
TensorRT插件开发（Plugin基础）
插件注册 · IPluginV2接口 · 动态/静态维度
TensorRTPlugin
19
TensorRT量化工具
PTQ（训练后量化） · 校准数据集 · 校准器选择（Entropy/MinM…
TensorRT量化工具
20
TensorRT量化工具
QAT（量化感知训练） · Q/DQ节点处理
TensorRT量化工具
21
TensorRT Dynamic Shapes与多Profile
动态shape配置 · optimization profi… · 多profile切换
TensorRTDynamic
22
TensorRT多GPU推理与并发
多CUDA stream · 多context · multi-GPU engine独立…
TensorRTGPU
23
TensorRT性能分析工具（trtexec, profiler）
trtexec命令行使用 · layer timing · engine inspector
TensorRTtrtexec
24
TensorRT与ONNX Runtime对比与选型
延迟/吞吐量对比 · 易用性 · 生态支持
TensorRTONNX
25
模型部署实战
ONNX Runtime部署服务 · 请求封装 · 并发控制
模型部署实战ONNX
26
模型部署实战
TensorRT部署服务 · 动态batch · 模型版本管理
模型部署实战TensorRT
27
推理加速中的混合精度与FP16/INT8
精度选择策略 · 精度损失诊断 · 混合精度推理细节
FP16/INT8推理加速
28
边缘设备上的TensorRT部署（Jetson系列）
Jetson环境配置 · deepstream集成 · 功耗与性能平衡
TensorRTJetson
29
常见推理加速问题与避坑指南
算子不支持 · 精度下降 · 内存泄漏
常见推理加速问题避坑指南
30
实战项目
从训练到推理加速全流程 · YOLO转TensorRT · 端到端性能优化
实战项目从训练到推理加速…