所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

全额支付CUDA与TensorRT：高性能深度学习推理引擎部署

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
高性能推理的重要性 · CUDA与TensorRT的定位 · 课程目标与学习路径
课程导论高性能推理的重要…
02
深度学习推理基础
推理与训练的区别 · 推理性能指标（延迟 · 吞吐量
深度学习推理基础推理
03
CUDA编程入门
GPU架构概览 · CUDA线程层次 · 内存层次
CUDA编程入门
04
CUDA内存优化
全局内存 · 共享内存 · 寄存器
CUDA内存优化
05
CUDA并行模式与优化技巧
归约 · 扫描 · 矩阵乘法优化
CUDA并行模式
06
深度学习算子CUDA实现
卷积 · 池化 · 全连接
CUDA深度学习算子
07
TensorRT核心概念
TensorRT是什么 · 推理引擎 · 网络定义
TensorRT核心概念
08
TensorRT环境搭建
安装CUDA · cuDNN · TensorRT
TensorRT环境搭建
09
TensorRT网络构建
使用Python API构建网络 · 添加层 · 设置权重
TensorRT网络构建
10
TensorRT模型转换
从PyTorch/TensorFlo… · 使用trtexec转换 · 精度设置（FP32/FP16/INT…
TensorRT模型转换
11
TensorRT引擎生成与序列化
Builder配置 · 工作空间 · 引擎保存与加载
TensorRT引擎生成
12
TensorRT推理执行
创建ExecutionContext · 绑定输入输出缓冲区 · 执行推理
TensorRT推理执行
13
TensorRT插件开发
自定义层实现 · 插件接口 · 注册与使用
TensorRT插件开发
14
TensorRT INT8量化
校准原理 · 校准数据集 · INT8精度调优
TensorRTINT8
15
TensorRT性能调优
Profile模式 · 层融合 · 自动调优
TensorRT性能调优
16
多模型与多流推理
多引擎管理 · 多流并发 · 动态批处理
多模型多流推理
17
TensorRT与深度学习框架集成
PyTorch/TensorFlow… · ONNX Runtime Tenso…
TensorRT深度学习框架集成
18
实战项目一
图像分类模型部署（ResNet-50… · 实现高吞吐推理
实战项目一ResNet-50
19
实战项目二
目标检测模型部署（YOLOv5/v8… · 后处理 · NMS的CUDA/TensorRT优…
实战项目二YOLOv5/v8
20
实战项目三
语义分割模型部署（DeepLabV3… · 内存优化 · 实时推理
实战项目三DeepLabV3
21
实战项目四
自然语言处理模型部署（BERT） · TensorRT优化 · 性能对比
实战项目四BERT
22
实战项目五
视频流实时推理：多路视频解码 · 批处理 · 流水线设计
实战项目五视频流实时推理
23
常见问题与解决方案
精度下降 · 显存不足 · 推理速度慢
常见问题解决方案
24
性能对比与评估
CPU vs GPU · 不同精度对比 · 不同框架对比
性能对比评估
25
部署环境与容器化
Docker镜像构建 · Kubernetes部署 · 模型版本管理
部署环境容器化
26
安全与稳定性
模型加密 · 防篡改 · 错误处理
安全稳定性
27
高级主题
多GPU推理 · 模型并行 · 流水线并行
高级主题GPU
28
综合实战
端到端推理服务搭建 · 提供REST/gRPC接口 · 压力测试
综合实战端到端推理服务搭…
29
课程总结与进阶路径
知识体系回顾 · 常见误区 · 学习资源推荐
课程总结进阶路径
30
结业项目
设计并实现一个高性能推理系统 · 要求包含CUDA优化 · TensorRT部署
结业项目设计并实现一个高…