01
张量加速核概述
Tensor Core定义 · GPU架构演进 · 对比CUDA Core · AI/HPC应用
概念入门
02
硬件原理与数据流
微架构 · Warp级矩阵 · 数据复用 · Tile策略基础
硬件微架构
03
编程模型与API
CUDA Grid-Block-Thread · WMMA · cuBLAS/cuTLASS · PTX
APIWMMA
04
矩阵分块与内存层次
三级存储 · Bank Conflict · Shared Memory Padding · Prefetching
内存优化
05
WMMA编程实战
wmma::fragment · 矩阵乘累加 · 非对齐Padding · 混合精度
编程FP16
06
cuTLASS库入门
Tile Iterator · Mma · Epilogue · Gemm模板参数
cuTLASS模板
07
cuTLASS自定义Kernel
自定义Epilogue · 累加器类型 · Collective API
自定义Epilogue
08
性能分析工具
Nsight Compute · Occupancy · Roofline模型
Profilingncu
09
Profiling实战
分析Tensor Core Kernel · Memory/Compute-bound · NVTX
实战瓶颈
10
内存访问优化
合并访问 · Swizzle布局 · Bank Conflict消除
Shared MemorySwizzle
11
流水线与双缓冲
Software Pipelining · Double Buffering · cp.async
流水线异步拷贝
12
Warp调度与Occupancy
Warp调度器 · Register Pressure · __launch_bounds__
Occupancy调度
13
指令级并行 (ILP)
ILP vs TLP · 循环展开 · 多累加器
ILPUnroll
14
数据布局优化
Row/Column-major · Interleaved · Fragmented · Layout转换
布局转换
15
混合精度训练
FP16/BF16/INT8/INT4 · Loss Scaling · IMMA · QAT
混合精度INT8
16
Sparse Tensor Core
2:4结构化稀疏 · 稀疏存储 · Sparse GEMM性能
稀疏Ampere
17
FlashAttention原理
IO瓶颈 · Tile策略 · Online Softmax · Tensor Core实现
AttentionOnline Softmax
18
FlashAttention实战
cuTLASS实现 · 分块管理 · 反向Recomputation
实战FlashAttention
19
Grouped GEMM
批量小矩阵 · Batching策略 · cuTLASS Grouped Gemm · 动态形状
GroupedBatching
20
Strided Batched GEMM
RNN/Multi-Head Attention · Stride优化 · 对比Grouped
StridedBatched
21
卷积的Implicit GEMM
Im2Col局限 · Implicit GEMM · Winograd + Tensor Core
卷积Implicit GEMM
22
Depthwise卷积优化
Depthwise特性 · 低利用率 · Channel Packing
DepthwisePacking
23
Layer Normalization优化
计算模式 · 融合Kernel · Tensor Core加速统计量
LayerNorm融合
24
Softmax优化
Online Softmax · Safe Softmax · 向量化版本
SoftmaxOnline
25
Fused Kernel设计
Kernel Fusion · Fused Attention/MLP/LayerNorm+Residual
融合Fused
26
自动调优 (Auto-tuning)
OpenTuner/Ansor · Tile搜索 · 编译/运行时调优 · Cost Model
自动调优搜索
27
Triton语言入门
Block-Level编程 · tl.dot · 自动调优机制
TritonDSL
28
Triton实战
高性能GEMM · Masking/Padding · 编译器优化
实战Triton
29
多GPU与分布式
NCCL · AllReduce · Ring/Tree · 计算通信Overlap
分布式NCCL
30
前沿趋势与总结
Hopper 第四代Tensor Core · FP8 · Transformer Engine · CUTLASS 3.x
前沿Hopper