VIP20
本课程属于：010-CUDA+TensorRT AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

CUDA与TensorRT延迟分析深入

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 延迟分析在深度学习推理中的重要性
课程导入学习目标
02
CUDA基础回顾
GPU架构 · 线程层次 · 内存层次
CUDA基础回顾
03
CUDA事件与计时
使用CUDA事件测量内核执行时间 · 同步与异步
CUDA事件
04
CUDA性能分析工具
nvprof · NVIDIA Nsight Comp… · Nsight Systems的使用
CUDA性能分析工具
05
内核性能瓶颈分析
内存带宽 · 计算吞吐 · 延迟隐藏
内核性能瓶颈分析内存带宽
06
内存访问优化
全局内存合并 · 共享内存使用 · 常量内存
内存访问优化全局内存合并
07
计算优化
指令级并行 · 循环展开 · 算术强度
计算优化指令级并行
08
TensorRT概述
TensorRT的作用 · 架构 · 优化流程
TensorRT的作用
09
TensorRT构建引擎
网络定义 · 构建器配置 · 精度设置（FP32/FP16/INT…
TensorRT构建引擎
10
TensorRT延迟测量
使用trtexec工具测量延迟 · 理解吞吐与延迟
TensorRT延迟测量
11
TensorRT性能分析
使用Nsight Systems分析… · 识别瓶颈
TensorRT性能分析
12
层融合与优化
TensorRT的层融合技术 · 如何影响延迟
层融合优化
13
动态形状与延迟
动态形状对延迟的影响 · 优化策略
动态形状延迟
14
多流与并发
使用CUDA流和TensorRT多上… · 降低延迟
多流并发
15
延迟与吞吐权衡
理解延迟与吞吐的关系 · 如何根据需求调整
延迟吞吐权衡
16
案例实战
使用Nsight Compute分析… · 定位性能瓶颈
案例实战Nsight
17
案例实战
使用trtexec分析ResNet-… · 并优化
案例实战trtexec
18
案例实战
优化YOLOv5的TensorRT推…
案例实战YOLOv5
19
常见问题
CUDA事件计时不准确的原因及解决方…
常见问题CUDA
20
常见问题
TensorRT引擎构建慢 · 如何加速
常见问题TensorRT
21
常见问题
INT8量化后精度下降 · 如何校准
常见问题INT8
22
常见问题
多线程推理时延迟波动 · 如何稳定
常见问题多线程推理时延迟…
23
高级主题
CUDA Graphs减少启动开销 · 降低延迟
高级主题CUDA
24
高级主题
TensorRT的插件自定义层 · 如何集成并优化
高级主题TensorRT
25
高级主题
使用CUDA和TensorRT实现低…
高级主题CUDA
26
综合实战
构建一个完整的延迟分析工具 · 集成CUDA和TensorRT
综合实战构建一个完整的延…
27
综合实战
对比不同精度和优化策略下的延迟表现
综合实战对比不同精度
28
综合实战
在嵌入式平台（如Jetson）上进行…
综合实战Jetson
29
总结与展望
延迟分析的最佳实践 · 未来趋势
延迟分析的最佳实…未来趋势
30
课程项目
设计并实现一个延迟敏感的推理服务 · 并进行性能评估
课程项目设计并实现一个延…