VIP20

本课程属于：011-CUDA AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA算子优化：突破性能瓶颈实战

📚 共计 30 章节

CUDA编程模型回顾

Grid-Block-Thread层级结构 · 内存层次结构 · Warp执行模型与SIMT架构

性能分析工具入门

Nsight Systems时间线 · Nsight Compute Kernel · nvprof/ncu命令行

工具profiling

内存访问优化 (上)

合并访问原理 · Global Memory带宽 · 对齐与跨步访问

内存coalescing

内存访问优化 (下)

Shared Memory Bank Conflict · Padding · 寄存器溢出检测

shared memorybank

Occupancy与Warp调度

Occupancy计算器 · Block/Thread配置 · Warp发散避免

指令级并行(ILP) · FMA指令 · Intrinsic与内联PTX

循环展开与向量化

#pragma unroll · 向量化加载(float4/int4) · 展开因子选择

unrollvectorize

异步与并发

CUDA Streams · Event同步 · MPS与MIG

共享内存与同步

__syncthreads() · Tile算法(矩阵乘法) · Bank Conflict消除

归约(Reduction)算子优化

Warp Shuffle · 树形归约 · 原子操作与冲突解决

reductionshuffle

扫描(Scan/Prefix Sum)优化

Kogge-Stone · Brent-Kung · Warp级扫描实现

稀疏矩阵运算(SpMV)

CSR/ELL/Hybrid格式 · 行合并与负载均衡

卷积(Convolution)优化

Im2Col+GEMM · Winograd · Fused Convolution

矩阵乘法(GEMM)优化

Tiling策略 · 向量化加载 · Prefetching · CUTLASS原理

Transformer算子优化

Self-Attention Kernel · FlashAttention · LayerNorm/Softmax

Transformerattention

自定义算子开发

CUDA C++ vs Python(Numba/CuPy) · PyTorch C++ Extension

custom opextension

JIT编译与动态优化

NVRTC · CUDA Graph捕获与重放 · 动态形状处理

点对点(P2P) · NCCL库 · AllReduce/AllGather

CUDA Unified Memory

UM原理与性能陷阱 · Prefetching/Advise · Page Fault隐藏

Tensor Core编程

WMMA API · mma.sync · 混合精度(FP16/BF16/INT8)

Tensor Coremixed precision

CUDA Graph优化

Graph捕获 · Instantiation/Launch · 动态图与静态图

CUDA Graphcapture

算子融合(Fusion)

Horizontal/Vertical Fusion · TVM/Ansor自动融合

Stream Ordered Memory

cudaMallocAsync · 内存池 · 延迟释放

memory poolasync alloc

性能调优方法论

Roofline Model · 瓶颈定位(Compute/Memory Bound) · 迭代优化

cuda-gdb · cuda-memcheck/sanitizer · Nsight IDE

CUDA与Python生态

CuPy · Numba CUDA JIT · RAPIDS cuDF/cuML

CUDA与深度学习框架

PyTorch CUDA Extension · TensorFlow Custom Op · JAX Pallas

CUDA与科学计算

cuBLAS/cuFFT/cuSOLVER · 自定义Kernel混合编程

cuBLASscientific

CUDA与图计算

cuGraph库 · GNN算子优化 · Sparse vs Dense

CUDA前沿与未来

Hopper架构(DPX/Transformer Engine) · CUDA 12.x · 生态展望