VIP20
本课程属于：010-CUDA+TensorRT AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

CUDA与TensorRT动态批处理深度调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 动态批处理在深度学习推理中的重要性
课程导入学习目标
02
CUDA编程基础
GPU架构 · 线程层次 · 内存层次
CUDA编程基础
03
TensorRT基础
TensorRT简介 · 构建引擎 · 推理流程
TensorRT简介
04
动态批处理概念
静态批处理与动态批处理的区别 · 动态批处理的优势与挑战
动态批处理概念静态批处理
05
TensorRT动态形状支持
动态形状API · 优化配置文件 · 形状绑定
TensorRT动态形状支持
06
CUDA内存管理优化
内存池 · 统一内存 · 内存复用策略
CUDA内存管理优化
07
CUDA流与并发
多流并发 · 事件同步 · 异步推理
CUDA并发
08
动态批处理中的内存分配策略
动态内存分配 · 内存碎片管理
动态批处理内存分配策略
09
TensorRT引擎优化
精度校准 · 层融合 · 内核自动调优
TensorRT引擎优化
10
动态批处理中的调度策略
批处理调度算法 · 优先级队列
动态批处理调度策略
11
CUDA内核优化
共享内存使用 · 寄存器优化 · 循环展开
CUDA内核优化
12
TensorRT插件开发
自定义层实现 · 动态形状插件
TensorRT插件开发
13
动态批处理中的性能分析
使用Nsight Systems · Nsight Compute · TensorRT Profiler
动态批处理性能分析
14
案例实战
图像分类模型动态批处理优化
案例实战图像分类模型动态…
15
案例实战
目标检测模型动态批处理优化
案例实战目标检测模型动态…
16
案例实战
自然语言处理模型动态批处理优化
案例实战自然语言处理模型…
17
动态批处理中的常见问题
形状变化导致的性能下降 · 内存不足 · 同步开销
动态批处理常见问题
18
动态批处理与静态批处理的性能对比
基准测试 · 性能指标
动态批处理静态批处理的性能…
19
CUDA图优化
图捕获 · 图执行 · 动态批处理中的图优化
CUDA图优化
20
TensorRT多流推理
多流配置 · 负载均衡
TensorRT多流推理
21
动态批处理中的模型部署
TensorRT服务 · Kubernetes集成
动态批处理模型部署
22
动态批处理中的量化技术
INT8量化 · 动态范围校准
动态批处理量化技术
23
动态批处理中的稀疏性优化
稀疏模型 · 稀疏推理
动态批处理稀疏性优化
24
动态批处理中的内存带宽优化
数据布局 · 访问模式
动态批处理内存带宽优化
25
动态批处理中的延迟优化
减少延迟 · 提高吞吐量
动态批处理延迟优化
26
动态批处理中的扩展性
多GPU · 多节点
动态批处理扩展性
27
动态批处理中的调试与验证
正确性检查 · 性能回归测试
动态批处理调试
28
综合项目
构建一个动态批处理推理系统
综合项目构建一个动态批处…
29
前沿趋势
动态批处理在自动驾驶 · 推荐系统中的应用
前沿趋势动态批处理
30
课程总结
关键要点回顾 · 学习路径建议 · 进一步学习资源
课程总结关键要点回顾