01
TensorCore前世今生
Fermi→Hopper架构演进 · 硬件原理 · 混合精度概念 · 与CUDA Core区别
架构原理
02
开发环境搭建
NVIDIA驱动 · CUDA 12.x · cuDNN · PyTorch/TF · nvcc验证
环境配置
03
CUDA编程基础回顾
内存层次 · Kernel · 线程块/网格 · 共享内存 · 同步
CUDA基础
04
TensorCore编程模型
WMMA API · fragment类型 · load/store · mma_sync
WMMA核心
05
WMMA实战：矩阵乘法
FP16矩阵乘 · Tile策略 · 内存对齐 · 性能基准
实战FP16
06
cuBLAS与cuBLASLt
基础API · 高级特性 · 自动调优 · 手写WMMA对比
cuBLAS调优
07
cuDNN中的TensorCore
卷积加速 · cuDNN API · 算法搜索 · 性能分析
cuDNN卷积
08
PyTorch AMP
自动混合精度 · torch.cuda.amp · GradScaler · 陷阱
PyTorchAMP
09
TensorFlow混合精度
tf.keras.mixed_precision · Loss Scaling · XLA · 调优
TensorFlow混合精度
10
FP16训练实战
数值范围 · 下溢/溢出 · Loss Scaling · 动态实现
FP16训练
11
BF16与TF32
BF16格式 · TF32自动使用 · Ampere特性 · 精度权衡
BF16TF32
12
INT8量化推理
量化原理 · 对称/非对称 · TensorRT校准 · QAT
INT8量化
13
TensorRT部署
ONNX导出 · 引擎构建 · 动态形状 · 多精度部署
TensorRT部署
14
自定义TensorCore Kernel
PTX入门 · mma.sync · fence指令 · 寄存器优化
PTX底层
15
WMMA高级技巧
双缓冲 · Bank Conflict · 异步拷贝 · 流水线
优化WMMA
16
矩阵分块策略
1D/2D/3D分块 · Swizzle · Bank Conflict消除 · Padding
分块共享内存
17
Strided Batch GEMM
批量矩阵乘 · Strided Batching · cuBLAS · 手写优化
BatchGEMM
18
稀疏TensorCore
2:4结构化稀疏 · 存储格式 · cuSPARSELt · 精度影响
稀疏加速
19
FlashAttention原理
Attention瓶颈 · 分块策略 · TensorCore加速 · 访存优化
AttentionFlash
20
FlashAttention实现
Forward/Backward · Block大小 · 性能对比
实现实验
21
MoE模型优化
混合专家 · 动态路由 · TensorCore加速 · 负载均衡
MoE大模型
22
大模型训练优化
Megatron-LM · 张量/流水线/序列并行 · TensorCore作用
并行大模型
23
DeepSpeed集成
ZeRO优化器 · 混合精度 · TensorCore自动使用 · 通信优化
DeepSpeedZeRO
24
Nsight性能分析
Nsight Systems · Nsight Compute · TensorCore利用率 · 瓶颈
NsightProfiling
25
Profiling实战
CUDA Event · NVTX · 自定义Profiler · 可视化
计时分析
26
常见性能陷阱
小矩阵 · 带宽瓶颈 · Warp Divergence · Bank Conflict · 寄存器溢出
陷阱优化
27
多GPU TensorCore
NCCL · Ring AllReduce · 通信重叠 · 跨节点扩展
多GPUNCCL
28
FP8训练
E4M3/E5M2 · FP8混合精度 · H100 Transformer Engine · 精度管理
FP8H100
29
Transformer Engine
TE模块 · FP8自动转换 · LayerNorm融合 · 性能收益
TEFP8
30
未来展望
下一代TensorCore · 光互连存算一体 · AI编译器 · 端侧趋势
前沿趋势