01
GPU架构基础
CUDA核心与SM · 内存层次结构 · Warp调度机制
架构核心
02
压测环境搭建
NVIDIA驱动 · CUDA Toolkit · Docker · 集群监控
环境Docker
03
基准测试工具
nvidia-smi · Nsight Systems · Nsight Compute · nvprof
工具Profiling
04
核函数吞吐指标
Occupancy · Bandwidth Utilization · Compute Utilization
指标吞吐
05
压测脚本设计
Python调用CUDA · PyTorch自定义算子 · 批量提交
脚本自动化
06
单卡吞吐压测
矩阵乘法 · 卷积 · Reduce操作基准测试
单卡基准
07
多卡并行压测
NCCL通信 · AllReduce · AllGather性能测试
多卡NCCL
08
集群网络压测
InfiniBand · RoCE · NVLink带宽测试
网络带宽
09
内存带宽压测
Global Memory · Shared Memory · Register压力测试
内存带宽
10
计算密集型核函数
FFT · GEMM · SpMV吞吐优化
计算优化
11
访存密集型核函数
Stride访问 · Coalescing · Bank Conflict分析
访存分析
12
Occupancy调优
Block Size · Shared Memory分配 · Register Pressure
调优Occupancy
13
指令级优化
FMA · Intrinsics · PTX汇编调优
指令PTX
14
流水线与并发
Stream · CUDA Graphs · MPS多进程服务
流水线并发
15
异步与同步
Event · Callback · cudaMemcpyAsync最佳实践
异步同步
16
Profiling数据分析
Timeline · Kernel Analysis · Metric解读
Profiling分析
17
瓶颈定位
Roofline模型 · Compute Bound vs Memory Bound
瓶颈Roofline
18
自动调优工具
CUTLASS · cuBLAS · cuDNN自动选择算法
自动调优库
19
自定义核函数调优
Tiling · Loop Unrolling · Vectorization
自定义调优
20
集群调度优化
Slurm · Kubernetes GPU调度策略
调度Slurm
21
多租户隔离
MIG · Time-Slicing · GPU QoS配置
隔离MIG
22
压测数据采集
Prometheus · Grafana · DCGM监控
监控采集
23
结果可视化
吞吐曲线 · 延迟分布 · 资源利用率热力图
可视化图表
24
异常检测
NVRM错误 · ECC错误 · XID错误处理
异常错误
25
稳定性测试
长时间压测 · 温度控制 · 功耗管理
稳定性压力
26
对比测试
不同架构 (Turing/Ampere/Hopper) 性能对比
对比架构
27
混合精度压测
FP16 · TF32 · BF16 · INT8吞吐对比
混合精度吞吐
28
分布式训练压测
Data Parallel · Model Parallel · Pipeline Parallel
分布式并行
29
推理场景压测
TensorRT · ONNX Runtime · Triton Inference Server
推理部署
30
综合案例
从压测到调优的完整闭环实战
实战综合