VIP20

本课程属于：031-Edge AI GPU委托与TensorRT 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA kernel与TensorRT推理瓶颈定位教程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程路径与工具链总览

课程导入学习目标

GPU架构与CUDA编程模型基础

SM · 线程层次 · 内存层次

CUDA kernel性能指标

occupancy · throughput · latency

CUDA事件与计时工具

使用cudaEvent · nvprof · ncu

Profiling工具实战

NVIDIA Nsight Comp… · 关键指标解读

Profiling工具实战

Profiling工具实战

NVIDIA Nsight Syst… · kernel时间线 · CPU-GPU交互

Profiling工具实战

内存瓶颈定位

全局内存 · 共享内存 · L2缓存

内存瓶颈定位全局内存

计算瓶颈定位

算术强度 · 指令混合 · FMA利用率

计算瓶颈定位算术强度

warp divergence与分支优化

分支模式对性能的影响 · 重构策略

内存合并访问与bank conflict

原理 · 检测方法 · 优化案例

kernel启动开销与grid/block配置优化

启动参数对性能的影响 · 调优策略

kernelgrid/block

CUDA流与并发

多流并发 · 事件同步 · kernel重叠与数据传输重叠

TensorRT推理流程概览

ONNX导出 · engine构建 · 推理上下文

TensorRT推理流程概览

TensorRT性能分析工具

trtexec的用法 · 关键输出指标（latency · throughput

TensorRT性能分析工具

TensorRT层级性能分析

使用NvProfiler · Nsight Systems定位层瓶…

TensorRT层级性能分析

TensorRT与CUDA kernel的交互

自定义plugin · plugin的profiling与优…

端到端推理瓶颈定位流程

从模型到部署的完整性能分析路径

端到端推理瓶颈定…从模型到部署的完…

矩阵乘法的CUDA kernel优化…

案例实战CUDA

卷积kernel的优化与瓶颈定位（i… · winograd · TensorCore）

案例实战kernel

Transformer推理中的瓶颈定… · FFN · KV cache）

案例实战Transformer

TensorRT部署YOLO模型 · 定位并优化预处理 · 后处理与推理瓶颈

案例实战TensorRT

低occupancy但性能高？如何正…

常见问题occupancy

内存带宽饱和但计算利用率低 · 如何平衡

常见问题内存带宽饱

TensorRT engine构建慢 · 推理抖动 · 多线程安全

常见问题TensorRT

自定义plugin与TensorRT… · 性能对比

常见问题plugin

使用CUDA Graphs减少启动开… · 与TensorRT结合

进阶技巧CUDA

多GPU推理与负载均衡 · 瓶颈定位与扩展性分析

进阶技巧GPU

混合精度与TensorCore优化 · FP16/INT8的瓶颈权衡

进阶技巧TensorCore

从零优化一个端到端推理系统 · 输出性能报告与优化方案

综合实战从零优化一个端到…

课程总结与进阶路径

知识体系回顾 · 推荐工具链 · 学习资源与社区

课程总结进阶路径