01
CUDA编程模型回顾
GPU架构基础 · 线程层次结构 · 内存层次 · 编译执行流程
基础内存
02
性能分析工具入门
nvprof / Nsight Systems · 计算/访存瓶颈 · Occupancy分析
工具分析
03
内存访问优化 (一)
Global Memory合并访问 · 对齐与跨步 · 矩阵转置优化
内存实战
04
内存访问优化 (二)
Shared Memory & Bank Conflict · Padding · 矩阵乘法Tiling
Shared优化
05
内存访问优化 (三)
常量/纹理内存 · 只读缓存 · __ldg() 指令
只读缓存
06
计算优化
算术强度 & Roofline · FMA · 快速数学函数
计算指令
07
指令级并行 (ILP)
循环展开 · #pragma unroll · 减少线程束发散
ILPWarp
08
Occupancy与资源权衡
Occupancy计算 · Block/Shared权衡 · Launch参数调整
Occupancy调优
09
异步与并发
CUDA Streams · 数据传输与计算重叠 · Host-Device异步
Stream并发
10
CUDA Graphs
动机与优势 · 图构建/实例化 · 执行与重放
Graph启动
11
算子融合 (Kernel Fusion)
融合原理 · Element-wise融合实战 · 约束与注意事项
融合实战
12
NVIDIA库的利用
cuBLAS/cuDNN/TensorRT · 何时写Kernel vs 调用库
库cuBLAS
13
卷积算子优化 (一)
Im2Col+GEMM · Winograd · cuDNN启发式
卷积Im2Col
14
卷积算子优化 (二)
直接卷积Shared优化 · Tensor Core (WMMA API)
TensorCoreWMMA
15
归一化层优化
Batch Norm融合 · Layer Norm优化 · __shfl归约
归一化Warp
16
激活函数优化
ReLU/GELU/SiLU快速实现 · 近似函数 · In-place
激活近似
17
Attention机制优化 (一)
FlashAttention原理 · Tiling · Online Softmax
AttentionFlash
18
Attention机制优化 (二)
PagedAttention · vLLM KV Cache · Block稀疏Attention
Paged稀疏
19
Transformer Decode优化
KV Cache显存管理 · Continuous Batching · Speculative Decoding
DecodeLLM
20
量化推理 (一)
INT8/FP8量化 · PTQ流程 · INT8 Tensor Core
量化INT8
21
量化推理 (二)
Q/DQ算子 · Per-tensor/Channel · 敏感层分析
量化PTQ
22
稀疏性利用
结构化/非结构化稀疏 · 2:4硬件支持 · cuSPARSELt
稀疏cuSPARSE
23
内存池与显存管理
cudaMemPool · 自定义分配器 · 碎片整理
显存池
24
多GPU编程
P2P通信 · NCCL (AllReduce) · 模型/数据并行
多GPUNCCL
25
CUDA C++新特性
cuda::std::par · cuda::barrier · cuda::pipeline
C++异步
26
JIT编译与运行时优化
NVRTC · 动态选择Kernel · Persistent Threads
JITNVRTC
27
调试与正确性检查
cuda-memcheck · Compute Sanitizer · 浮点误差
调试Sanitizer
28
端到端推理优化 (BERT)
BERT优化 · 算子融合 · TensorRT部署
BERTTensorRT
29
端到端推理优化 (LLaMA)
Prefill/Decode分离 · KV Cache量化 · 大模型
LLaMA大模型
30
前沿趋势与总结
Hopper/Blackwell · Triton语言 · 最佳实践清单
前沿总结