01
CUDA性能剖析概述
为什么需要性能剖析 · 目标与挑战
基础概念
02
NVIDIA Nsight Systems入门
安装配置 · 界面介绍 · 基本流程
工具Nsight
03
NVIDIA Nsight Compute入门
安装配置 · 界面介绍 · 基本流程
工具内核分析
04
性能指标解读
占用率 · 带宽 · 吞吐量 · 延迟
指标Occupancy
05
Nsight Systems时间线分析
时间线视图 · CPU/GPU活动 · API调用
时间线追踪
06
Nsight Compute内核分析
启动配置 · 性能计数器 · 瓶颈识别
内核计数器
07
内存访问模式分析
全局内存合并 · 共享内存bank冲突 · 常量/纹理
内存合并
08
计算瓶颈分析
算术强度 · 指令级并行 · 流水线停顿
计算ILP
09
占用率优化
线程块大小 · 寄存器压力 · 共享内存
Occupancy调优
10
内存带宽优化
数据复用 · 缓存友好 · 异步传输
带宽异步
11
指令优化
快速数学函数 · 分支发散 · 循环展开
指令分支
12
流与并发
多流执行 · 异步操作 · 重叠计算与传输
并发Stream
13
CUDA Graphs
图捕获与重放 · 图优化 · 适用场景
Graph启动
14
统一内存性能剖析
页面错误 · 数据迁移 · 性能调优
UM页面错误
15
多GPU性能剖析
点对点通信 · 负载均衡 · 同步开销
多GPUP2P
16
CUDA内核启动开销
启动延迟 · 内核合并 · 持久化内核
启动延迟
17
共享内存优化
bank冲突消除 · 填充技术 · 动态共享内存
共享内存bank
18
寄存器优化
寄存器溢出 · __launch_bounds__ · 减少使用
寄存器溢出
19
原子操作性能
原子操作类型 · 竞争条件 · 性能影响
原子竞争
20
Warp级别分析
Warp发散 · 调度 · Shuffle指令
WarpShuffle
21
性能剖析自动化
脚本化Nsight · CI/CD集成 · 回归测试
自动化CI
22
性能瓶颈案例1：矩阵乘法
从朴素到极致优化
案例GEMM
23
性能瓶颈案例2：归约操作
多阶段归约优化
案例归约
24
性能瓶颈案例3：直方图
原子操作与共享内存
案例直方图
25
性能瓶颈案例4：卷积
im2col与Winograd
案例卷积
26
性能瓶颈案例5：排序
Bitonic Sort · Radix Sort
案例排序
27
性能剖析报告撰写
数据可视化 · 关键指标 · 优化建议
报告可视化
28
常见性能陷阱
过度优化 · 忽略CPU开销 · 错误假设
陷阱经验
29
性能剖析工具对比
Nsight vs nvprof vs ncu vs nvtx
对比工具
30
综合实战：端到端推理优化
深度学习推理性能优化全流程
实战推理