VIP20
本课程属于：010-CUDA+TensorRT AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

CUDA与TensorRT初探必修课

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · 环境准备（CUDA
课程导入学习目标
02
GPU架构与CUDA编程模型
GPU硬件架构 · CUDA线程层次 · 内存层次
GPUCUDA
03
CUDA编程基础
向量加法 · 矩阵乘法 · 错误处理
CUDA编程基础
04
CUDA内存优化
全局内存 · 共享内存 · 常量内存
CUDA内存优化
05
CUDA流与并发
流的概念 · 多流并发 · 事件同步
CUDA并发
06
CUDA高级主题
原子操作 · 动态并行 · 多GPU编程
CUDA高级主题
07
TensorRT概述
TensorRT的作用 · 推理优化原理 · 支持的网络层
TensorRT的作用
08
TensorRT环境搭建
安装 · 验证 · ONNX模型导出
TensorRT环境搭建
09
TensorRT模型转换
ONNX转TensorRT引擎 · 精度设置（FP32 · FP16
TensorRT模型转换
10
TensorRT推理引擎
引擎创建 · 上下文管理 · 输入输出绑定
TensorRT推理引擎
11
TensorRT性能优化
层融合 · 精度校准 · 工作空间大小
TensorRT性能优化
12
TensorRT插件开发
自定义层实现 · 插件注册 · 使用插件
TensorRT插件开发
13
TensorRT与深度学习框架集成
PyTorch · TensorFlow模型部署
TensorRT深度学习框架集成
14
案例实战
图像分类模型（ResNet）的Ten…
案例实战ResNet
15
案例实战
目标检测模型（YOLOv5）的Ten…
案例实战YOLOv5
16
案例实战
语义分割模型（UNet）的Tenso…
案例实战UNet
17
案例实战
自然语言处理模型（BERT）的Ten…
案例实战BERT
18
性能对比与调优
CPU vs GPU · TensorRT vs 原始框架 · 性能分析工具
性能对比调优
19
常见问题与解决方案
内存不足 · 精度损失 · 动态形状问题
常见问题解决方案
20
多线程与多进程推理
并发推理 · 多GPU推理 · 负载均衡
多线程多进程推理
21
TensorRT与CUDA混合编程
自定义CUDA核函数与TensorR…
TensorRTCUDA
22
模型量化与INT8推理
量化原理 · 校准方法 · TensorRT INT8实践
INT8模型量化
23
TensorRT部署实战
使用Docker容器 · TensorRT服务化（Tensor…
TensorRT部署实战
24
TensorRT-LLM
大语言模型推理优化 · KV Cache · 批处理
TensorRT-LLM大语言模型推理优…
25
综合项目
从PyTorch模型到TensorR…
综合项目PyTorch
26
综合项目
实时视频流目标检测系统
综合项目实时视频流目标检…
27
综合项目
高性能图像分类服务
综合项目高性能图像分类服…
28
综合项目
多模型集成推理平台
综合项目多模型集成推理平…
29
课程总结
知识体系回顾 · 最佳实践 · 学习路径建议
课程总结知识体系回顾
30
结业测试
综合测试题 · 项目答辩 · 课程反馈
结业测试综合测试题