所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

CUDA与TensorRT:高性能深度学习推理引擎部署实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 环境准备（CUDA
课程导入学习目标
02
GPU计算基础
GPU架构 · 线程层次 · 内存层次
GPU计算基础
03
CUDA内存管理
全局内存 · 共享内存 · 常量内存
CUDA内存管理
04
CUDA核函数优化
线程束发散 · 内存合并 · 共享内存bank冲突
CUDA核函数优化
05
CUDA性能分析工具
使用nvprof · Nsight Compute · Nsight Systems定位性能…
CUDA性能分析工具
06
CUDA矩阵乘法优化
从朴素实现到分块 · 共享内存 · 寄存器tiling的逐步优化实战
CUDA矩阵乘法优化
07
深度学习推理概述
推理与训练的区别 · 推理引擎的演进 · TensorRT在推理栈中的位置
深度学习推理概述推理
08
TensorRT核心概念
网络定义 · Builder · Engine
TensorRT核心概念
09
TensorRT开发环境搭建
安装CUDA · cuDNN · TensorRT
TensorRT开发环境搭建
10
TensorRT模型转换
使用ONNX · UFF · Caffe等格式
TensorRT模型转换
11
TensorRT网络构建API
使用C++/Python API从零… · 包括卷积 · 池化
TensorRTAPI
12
TensorRT动态形状
支持动态batch和动态分辨率 · 设置优化profile与绑定动态维度
TensorRT动态形状
13
TensorRT精度校准
INT8量化原理 · 校准数据集准备 · 校准器实现与精度损失评估
TensorRT精度校准
14
TensorRT插件开发
自定义Layer的编写 · 注册 · 序列化与在引擎中的使用
TensorRT插件开发
15
TensorRT推理优化
工作空间设置 · 流并发 · 多上下文
TensorRT推理优化
16
TensorRT与深度学习框架集成
在PyTorch · TensorFlow中调用Tenso…
TensorRT深度学习框架集成
17
TensorRT部署实战
图像分类模型（ResNet）的转换 · 优化与性能测试
TensorRT部署实战
18
TensorRT部署实战
目标检测模型（YOLOv5/YOLO… · 后处理与端到端部署
TensorRT部署实战
19
TensorRT部署实战
语义分割模型（UNet/DeepLa…
TensorRT部署实战
20
TensorRT部署实战
Transformer模型（BERT…
TensorRT部署实战
21
TensorRT部署实战
多模型服务与模型集成 · 使用TensorRT推理服务器（TR…
TensorRT部署实战
22
TensorRT常见问题排查
引擎构建失败 · 精度异常 · 内存泄漏
TensorRT常见问题排查
23
CUDA与TensorRT联合优化
自定义CUDA核函数与TensorR… · 实现极致性能
CUDATensorRT
24
推理系统设计
端侧与云侧部署架构 · 批处理策略 · 异步流水线与资源调度
推理系统设计端侧
25
性能评估与调优
使用Nsight · TensorRT Profiler · 自定义计时工具进行系统性能分析
性能评估调优
26
多GPU与分布式推理
多卡并行 · 模型并行 · 数据并行在TensorRT中的实现
GPU分布式推理
27
模型压缩与加速
剪枝 · 蒸馏 · 量化与TensorRT的协同
模型压缩加速
28
安全与可靠性
模型加密 · 引擎签名 · 异常处理与高可用部署
安全可靠性
29
综合实战项目
从PyTorch模型到TensorR…
综合实战项目PyTorch
30
课程总结与进阶方向
回顾核心技能 · 常见面试题 · 学习资源与未来趋势（如TensorR…
课程总结进阶方向