VIP20
本课程属于：019-YOLO系列算法实战 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

YOLO模型导出ONNX与TensorRT加速

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导学
YOLO模型部署全景图 · ONNX与TensorRT的价值 · 课程目标与前置知识
课程导学YOLO
02
环境准备
CUDA · cuDNN · TensorRT
环境准备CUDA
03
YOLOv8基础
YOLOv8模型结构解析 · 训练一个自定义检测模型
YOLOv8模型结构解析
04
PyTorch模型导出ONNX
torch.onnx.export详… · 动态轴与静态轴设置
PyTorchONNX
05
ONNX模型验证
使用ONNX Runtime进行推理 · 对比PyTorch与ONNX输出精度
ONNX模型验证
06
ONNX算子兼容性
常见不兼容算子及解决方案 · 自定义算子注册
ONNX算子兼容性
07
ONNX模型优化
onnx-simplifier简化模… · onnxoptimizer图优化
ONNX模型优化
08
ONNX转TensorRT
trtexec命令行工具使用 · TensorRT Python AP…
ONNXTensorRT
09
TensorRT推理引擎构建
Builder · Network · Config
TensorRT推理引擎构建
10
TensorRT工作流
序列化与反序列化Engine · 动态shape处理
TensorRT工作流
11
FP16与INT8量化
精度与速度的权衡 · 校准数据集准备 · INT8校准器
FP16INT8
12
TensorRT插件开发
自定义Layer实现 · Plugin Creator注册
TensorRT插件开发
13
YOLO后处理在TensorRT中的实现
NMS · Bbox解码 · 类别过滤
YOLOTensorRT
14
多Batch推理
动态Batch与固定Batch的配置 · 性能对比
Batch推理
15
多Stream推理
CUDA Stream并发 · 异步推理与Host/Device内存…
Stream推理
16
TensorRT Profiling
NVIDIA Nsight Syst… · Engine层耗时分析
TensorRTProfiling
17
ONNX Runtime与TensorRT对比
延迟 · 吞吐量 · 内存占用实测
ONNXRuntime
18
Docker部署
构建CUDA+TensorRT Do… · 容器化推理服务
Docker部署
19
RESTful API封装
Flask/FastAPI搭建推理接… · 并发请求处理
RESTfulAPI
20
gRPC部署
Protocol Buffers定义 · gRPC服务端与客户端实现
gRPC部署
21
边缘端部署
Jetson Nano/Xavier…
边缘端部署Jetson
22
模型加密与保护
ONNX加密 · Engine文件加密 · License校验
模型加密保护
23
多模型串联
检测+分类/分割模型Pipeline…
多模型串联Pipeline
24
动态输入尺寸
YOLO多尺度推理的TensorRT…
动态输入尺寸YOLO
25
TensorRT 10新特性
新API变化 · 性能提升 · 弃用功能迁移
TensorRT10新特性
26
常见错误排查
Shape不匹配 · 精度下降 · 内存泄漏
常见错误排查Shape
27
性能调优
Auto Tuning · Layer融合 · 显存复用技巧
性能调优Auto
28
生产环境监控
Prometheus + Grafa…
生产环境监控Prometheus
29
CI/CD集成
自动化模型导出 · ONNX验证 · TensorRT构建流水线
CI/CD集成
30
课程总结与展望
YOLO部署的未来趋势 · 多模态模型部署挑战
课程总结YOLO