VIP20
本课程属于：010-CUDA+TensorRT AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT引擎构建与CUDA流调度

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
基础知识
TensorRT概述 · CUDA流基础 · 环境搭建
基础知识TensorRT
03
TensorRT核心组件
Builder · Network · Engine
TensorRT核心组件
04
构建引擎流程
从ONNX模型到TensorRT引擎…
构建引擎流程ONNX
05
网络定义
添加层 · 设置权重 · 配置输入输出
网络定义添加层
06
优化策略
精度校准（FP16/INT8） · 层融合 · 内存优化
优化策略FP16/INT8
07
动态形状
动态输入尺寸的设置与处理
动态形状动态输入尺寸的设…
08
引擎序列化与反序列化
保存和加载引擎文件
引擎序列化反序列化
09
CUDA流调度基础
流的概念 · 创建与同步
CUDA流调度基础
10
多流并发
多流执行推理 · 事件同步
多流并发多流执行推理
11
TensorRT与CUDA流集成
在TensorRT中使用自定义流
TensorRTCUDA
12
异步推理
使用CUDA流实现异步执行
异步推理CUDA
13
性能分析
使用Nsight Systems和N…
性能分析Nsight
14
常见问题
构建失败 · 精度下降 · 性能不佳的排查
常见问题构建失败
15
案例实战
图像分类模型（ResNet）的Ten…
案例实战ResNet
16
案例实战
目标检测模型（YOLOv5）的Ten…
案例实战YOLOv5
17
案例实战
语义分割模型（UNet）的Tenso…
案例实战UNet
18
案例实战
多模型并发调度与流管理
案例实战多模型并发调度
19
高级优化
TensorRT插件编写与自定义层
高级优化TensorRT
20
高级优化
多上下文与多设备管理
高级优化多上下文
21
高级优化
图优化与内核自动调优
高级优化图优化
22
部署实践
TensorRT与深度学习框架（Py…
部署实践TensorRT
23
部署实践
TensorRT与推理服务器（Tri…
部署实践TensorRT
24
部署实践
边缘设备上的TensorRT优化
部署实践TensorRT
25
综合项目
构建一个高性能推理系统（含流调度）
综合项目构建一个高性能推…
26
综合项目
实时视频流处理与多流调度
综合项目实时视频流处理
27
综合项目
大规模模型（Transformer）…
综合项目Transformer
28
综合项目
混合精度训练与推理优化
综合项目混合精度训练
29
综合提升
性能调优方法论与最佳实践
综合提升性能调优方法论
30
课程总结
回顾关键知识点 · 未来趋势与学习路径
课程总结回顾关键知识点