01
CUDA编程模型回顾
GPU架构概览 · 线程层次结构 · 内存层次 · 编译执行流程
基础线程
02
CUDA性能分析工具
nvprof / Nsight Systems · 带宽/吞吐瓶颈 · Occupancy调优
工具调优
03
共享内存与Bank Conflict
Bank冲突避免 · Padding/Swizzle · 动态共享内存
共享内存冲突
04
Warp级别优化
Warp调度 · Divergence避免 · Shuffle指令 · Warp Reduce
Warp指令
05
全局内存访问优化
合并访问 · 对齐/跨步 · 向量化加载 · 只读缓存
内存带宽
06
寄存器与本地内存优化
寄存器压力 · Spilling检测 · __launch_bounds__
寄存器编译
07
原子操作与锁
atomicAdd · 性能开销 · 共享内存原子优化 · Lock-Free
原子同步
08
Stream与异步并发
Stream创建 · Host/Device异步 · 并发执行 · Event同步
异步并发
09
CUDA Graph
Graph动机 · 手动/捕获构建 · 实例化执行 · 动态更新
Graph优化
10
CUB库与Thrust库
Block/Warp级原语 · sort/reduce · 自定义算子混合
库原语
11
cuBLAS与cuDNN集成
Handle/API · Tensor描述符 · 自定义Kernel协同 · 选型
cuBLAScuDNN
12
自定义AllReduce算子
Ring AllReduce · Scatter-Reduce/AllGather · 带宽最优性
通信AllReduce
13
自定义AllGather算子
环状实现 · 双向环状 · NCCL对比 · Buffer管理
AllGather环状
14
自定义ReduceScatter算子
语义实现 · 分块归约 · 数值稳定性 · 等价性
ReduceScatter归约
15
NCCL基础
初始化/Comm · 集合通信API · 拓扑感知 · Ring/Tree
NCCL集合通信
16
NCCL高级特性
Group协作 · Send/Recv · 共享内存/NVLink · Profiling
NCCL高级
17
多卡通信拓扑
NVLink拓扑 · PCIe瓶颈 · GPUDirect RDMA · 拓扑调度
拓扑NVLink
18
通信与计算重叠
Stream重叠 · 双缓冲 · Fusion Buffer · 端到端策略
重叠流水线
19
梯度压缩与量化通信
Top-K稀疏 · FP16/INT8量化 · 误差反馈 · 压缩率权衡
压缩量化
20
异步梯度同步（AGP）
AGP原理 · 流水线异步 · 延迟补偿 · Transformer应用
异步梯度
21
混合并行策略
DP/DDP · MP/TP · PP · 3D并行通信模式
并行策略
22
张量并行通信优化
Megatron切分 · AllReduce↔ReduceScatter+AG · 序列并行
张量并行Megatron
23
流水线并行通信优化
GPipe/PipeDream · 1F1B隐藏 · 交错调度 · 点对点带宽
流水线1F1B
24
专家并行（MoE）通信
All-to-All · Token Dispatch/Combine · 容量因子 · 自定义Kernel
MoEAll-to-All
25
通信库底层实现
NCCL Ring/Tree源码 · NVLink/InfiniBand · 微基准测试
源码底层
26
自定义通信Kernel
Shared Memory AllReduce · Warp Shuffle Reduce · PCIe Direct
Kernel自定义
27
多机通信与RDMA
InfiniBand/RoCEv2 · GPUDirect RDMA · 带宽延迟模型
RDMA多机
28
通信Profiling与可视化
Nsight Systems时间线 · 带宽/延迟统计 · 热点识别
Profiling可视化
29
端到端训练系统优化
数据加载 · AMP通信 · ZeRO优化器 · Checkpointing
系统ZeRO
30
前沿与未来趋势
NVLink Switch · CXL · SHARP In-Network · AI编译器
前沿趋势