VIP20
本课程属于：010-CUDA+TensorRT AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

CUDA与TensorRT推理全景通识

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 适用人群
课程导入学习目标
02
GPU计算基础
GPU架构 · CPU与GPU对比 · 并行计算概念
GPU计算基础
03
CUDA编程模型
线程层次 · 内存层次 · 核函数编写与调用
CUDA编程模型
04
CUDA内存管理
全局内存 · 共享内存 · 常量内存
CUDA内存管理
05
CUDA性能优化
内存访问优化 · 线程束分化 · 占用率调优
CUDA性能优化
06
CUDA进阶
流与事件 · 多GPU编程 · 动态并行
CUDA进阶
07
深度学习推理概述
推理与训练区别 · 推理框架对比 · 性能指标
深度学习推理概述推理
08
TensorRT核心概念
TensorRT简介 · 工作流程 · 精度模式
TensorRT核心概念
09
TensorRT环境搭建
安装 · 依赖 · 验证安装
TensorRT环境搭建
10
模型转换与部署
ONNX转换 · TensorRT引擎构建 · 序列化与反序列化
模型转换部署
11
TensorRT网络定义
使用API构建网络 · 层类型 · 动态形状
TensorRT网络定义
12
TensorRT优化策略
层融合 · 精度校准 · 内存优化
TensorRT优化策略
13
TensorRT推理实践
编写推理代码 · 绑定输入输出 · 执行推理
TensorRT推理实践
14
TensorRT高级特性
插件自定义 · 多流推理 · DLA支持
TensorRT高级特性
15
案例实战
图像分类模型部署
案例实战图像分类模型部署
16
案例实战
目标检测模型部署
案例实战目标检测模型部署
17
案例实战
语义分割模型部署
案例实战语义分割模型部署
18
案例实战
自然语言处理模型部署
案例实战自然语言处理模型…
19
性能分析工具
Nsight Systems · Nsight Compute · TensorRT Profiler
性能分析工具Nsight
20
性能调优实战
瓶颈分析 · 优化迭代 · 性能对比
性能调优实战瓶颈分析
21
常见问题与解决方案
精度问题 · 性能问题 · 兼容性问题
常见问题解决方案
22
多平台部署
嵌入式平台（Jetson） · 云端GPU · 边缘设备
多平台部署Jetson
23
TensorRT与深度学习框架集成
PyTorch · TensorFlow · PaddlePaddle
TensorRT深度学习框架集成
24
TensorRT与CUDA协同优化
自定义CUDA核函数与TensorR…
TensorRTCUDA
25
模型压缩与加速
剪枝 · 量化 · 知识蒸馏与TensorRT结合
模型压缩加速
26
推理服务化
TensorRT与TensorFlo… · Triton Inference S…
推理服务化TensorRT
27
安全与可靠性
模型验证 · 错误处理 · 日志监控
安全可靠性
28
前沿趋势
TensorRT新特性 · GPU架构演进 · 推理优化方向
前沿趋势TensorRT
29
综合项目实战
从模型到部署的完整流程
综合项目实战从模型到部署的完…
30
课程总结与进阶路径
知识回顾 · 学习资源 · 职业发展建议
课程总结进阶路径