VIP20

本课程属于：012-CUDA核函数 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA核函数性能剖析与瓶颈定位

📚 共计 30 章节

性能剖析概述

为什么需要性能剖析？剖析维度：时间、吞吐量、带宽、延迟。工具概览：Nsight Systems、Nsight Compute、nvprof、ncu。

Nsight Systems入门

安装与配置、时间线视图、CPU/GPU活动追踪、API调用分析、内存操作追踪。

工具时间线

Nsight Compute入门

安装与配置、内核分析视图、性能指标（占用率、带宽、指令吞吐量）、源代码关联。

性能指标详解（上）

理论/实际占用率、计算/内存吞吐量、算术强度、L1/L2缓存命中率。

性能指标详解（下）

全局内存合并/未合并、共享内存bank冲突、寄存器压力、warp发散与收敛。

瓶颈定位方法论

Roofline模型原理与绘制、计算瓶颈 vs 内存瓶颈、延迟隐藏分析。

方法论Roofline

Roofline模型实战

使用Nsight Compute生成Roofline图、解读图表、优化方向判断。

内存访问模式分析

全局内存合并访问条件、对齐/步长访问、cudaMallocPitch、cudaMemcpy2D。

共享内存优化

声明与使用、静态/动态共享内存、bank冲突避免、padding技术。

共享内存bank

寄存器优化

寄存器溢出、__launch_bounds__控制、寄存器与共享内存权衡。

寄存器编译

warp发散原因、shuffle指令、warp级归约、协作组(Cooperative Groups)。

原子操作性能

原子操作开销、共享/全局内存原子操作、替代方案。

CUDA流概念、多流并发、流回调、MPS简介。

内核启动开销

启动延迟、减少启动次数、内核融合、持久化内核。

异步操作与重叠

异步内存拷贝、计算与拷贝重叠、事件同步、流水线设计。

异步流水线

统一内存性能

统一内存原理、页面错误与迁移、cudaMemAdvise、cudaMemPrefetchAsync。

统一内存迁移

CUDA图（Graph）入门

图概念、图捕获与实例化、图执行、图更新。

CUDA图性能优化

图捕获开销、图与流对比、动态图、深度学习应用。

Tensor Core性能

Tensor Core原理、wmma矩阵乘法、cuBLAS调用、性能条件。

Tensor Corewmma

cuBLAS与cuDNN性能剖析

API追踪、算法选择、工作空间优化、自动调优。

多GPU通信模式、点对点通信、NCCL入门、负载均衡。

NCCL性能优化

拓扑感知、算法选择、环形/树形算法、带宽利用率。

性能计数器与PMU

硬件性能计数器、nvprof/ncu收集、计数器解读。

自动调优框架

Cutlass库、自动调优原理、模板元编程与代码生成、编译时优化。

自动调优Cutlass

性能回归测试

基准测试设计、自动化框架、性能比较、回归告警。

实际案例1：矩阵乘法优化

从朴素到极致，逐步剖析与优化过程。

实际案例2：归约操作优化

warp级归约、块级归约、多阶段归约。

实际案例3：卷积操作优化

im2col、Winograd、直接卷积、cuDNN对比。

实际案例4：Stencil计算优化

共享内存tiling、寄存器tiling、时间tiling。

总结与展望

性能优化方法论总结、未来趋势（Hopper、DPX指令）、持续学习资源。