01
ONNX基础认知
什么是ONNX · 为什么需要ONNX · 生态与优势
入门概念
02
PyTorch模型导出ONNX
torch.onnx.export核心参数 · 动态轴与静态轴
PyTorch导出
03
ONNX模型结构解析
计算图 · Node与Tensor · Netron可视化
可视化调试
04
ONNX算子兼容性
常见算子映射 · 差异分析 · 规避不支持算子
算子兼容
05
ONNX模型调试
onnxruntime推理 · 精度对比 · 导出错误排查
调试验证
06
ONNX模型优化
onnx-simplifier · 常量折叠 · 冗余消除
优化简化
07
ONNX量化基础
动态/静态量化 · INT8原理与影响
量化INT8
08
ONNX量化实战
onnxruntime量化 · 校准数据集 · 精度评估
实战校准
09
ONNX自定义算子
为什么需要 · 编写自定义算子 · 注册与使用
进阶自定义
10
ONNX模型分割与融合
分割策略 · 算子融合 · 推理效率提升
分割融合
11
TensorRT基础认知
TensorRT是什么 · 核心优化 · 部署流程
TensorRT入门
12
TensorRT环境搭建
CUDA · cuDNN · TensorRT安装 · 版本匹配
环境CUDA
13
TensorRT模型构建方式
ONNX解析器 · API构建 · trtexec工具
构建trtexec
14
ONNX转TensorRT引擎
onnx-tensorrt · 动态shape · 序列化
转换engine
15
TensorRT网络层详解
卷积 · 全连接 · 激活 · 池化配置
网络层配置
16
TensorRT动态形状
动态batch · 动态尺寸 · profile优化
动态profile
17
工作空间与内存管理
workspace · 显存优化 · 内存池复用
内存显存
18
TensorRT量化校准
校准器选择 · 校准数据 · INT8推理
量化校准
19
TensorRT插件开发
为什么需要插件 · 编写与注册
插件自定义
20
TensorRT多流推理
多流并行 · 同步异步 · 吞吐量优化
多流性能
21
TensorRT与框架集成
PyTorch-TRT · TF-TRT · ONNX Runtime EP
集成框架
22
TensorRT推理服务化
Triton部署 · 模型版本管理
服务化Triton
23
TensorRT性能分析
Nsight Systems · Profiler · 瓶颈定位
性能分析
24
TensorRT精度调试
逐层对比 · FP16/INT8损失 · 混合精度
精度调试
25
常见错误与解决方案
算子不支持 · 维度不匹配 · 显存溢出
排错FAQ
26
端到端实战 · 分类模型
ResNet50导出 · 优化 · TensorRT部署
实战ResNet
27
端到端实战 · 检测模型
YOLOv8导出 · NMS处理 · TensorRT部署
YOLOv8检测
28
端到端实战 · 分割模型
UNet导出 · 动态输入 · TensorRT推理
UNet分割
29
端到端实战 · NLP模型
BERT导出 · 动态序列长度 · TensorRT推理
BERTNLP
30
生产级部署最佳实践
CI/CD · 版本管理 · 监控告警 · A/B测试
生产最佳实践