VIP20
本课程属于：010-CUDA+TensorRT AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

CUDA与TensorRT推理初探

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 环境准备（CUDA
课程导入学习目标
02
GPU计算基础
GPU架构 · 并行计算概念 · CUDA编程模型
GPU计算基础
03
CUDA编程入门
核函数 · 线程层次 · 内存模型
CUDA编程入门
04
CUDA内存管理
全局内存 · 共享内存 · 常量内存
CUDA内存管理
05
CUDA性能优化
内存访问优化 · 并行归约 · 流与事件
CUDA性能优化
06
CUDA实战
向量加法 · 矩阵乘法实现与优化
CUDA向量加法
07
深度学习推理概述
推理与训练的区别 · 推理优化目标
深度学习推理概述推理
08
TensorRT简介
TensorRT功能 · 优势 · 支持的网络层
TensorRT简介
09
TensorRT安装与配置
安装步骤 · 环境变量 · 验证安装
TensorRT安装
10
TensorRT工作流程
模型转换 · 构建引擎 · 序列化与反序列化
TensorRT工作流程
11
ONNX模型转换
PyTorch/TensorFlow… · ONNX到TensorRT
ONNX模型转换
12
TensorRT引擎构建
构建器配置 · 精度设置（FP32/FP16/INT…
TensorRT引擎构建
13
TensorRT推理执行
上下文创建 · 输入输出绑定 · 执行推理
TensorRT推理执行
14
TensorRT性能调优
动态形状 · 批处理 · 工作空间大小
TensorRT性能调优
15
TensorRT插件开发
自定义层实现 · 注册与使用
TensorRT插件开发
16
TensorRT与CUDA集成
自定义CUDA内核在TensorRT…
TensorRTCUDA
17
案例实战
图像分类模型（ResNet）的Ten…
案例实战ResNet
18
案例实战
目标检测模型（YOLOv5）的Ten…
案例实战YOLOv5
19
案例实战
语义分割模型（UNet）的Tenso…
案例实战UNet
20
常见问题与调试
内存错误 · 精度下降 · 性能瓶颈分析
常见问题调试
21
模型量化
INT8量化原理 · 校准方法 · TensorRT实现
模型量化INT8
22
多流推理
多线程 · 多流并发 · 异步推理
多流推理多线程
23
TensorRT与深度学习框架集成
PyTorch · TensorFlow集成
TensorRT深度学习框架集成
24
TensorRT在边缘设备部署
Jetson平台优化
TensorRT边缘设备部署
25
TensorRT与Triton推理服务器
服务化部署
TensorRTTriton
26
性能分析工具
Nsight Systems · Nsight Compute · TensorRT Profiler
性能分析工具Nsight
27
综合实战
端到端推理系统搭建（数据预处理 · 推理 · 后处理）
综合实战端到端推理系统搭…
28
前沿技术
TensorRT 10新特性 · Transformer模型优化
前沿技术TensorRT
29
课程总结
知识体系回顾 · 学习路径建议 · 常见误区
课程总结知识体系回顾
30
项目实战
从零构建一个高性能推理服务（含代码实…
项目实战从零构建一个高性…