01
显存基础与瓶颈分析
显存架构、带宽与容量、常见瓶颈诊断方法。
基础诊断
02
PyTorch显存管理机制
缓存分配器、CUDA流、显存碎片化问题。
PyTorch内存
03
梯度检查点技术
原理、实现方式、与计算时间的权衡。
检查点权衡
04
混合精度训练(AMP)
FP16/BF16原理、动态损失缩放、实战配置。
AMPFP16
05
ZeRO优化器
ZeRO-1/2/3原理、分片策略、与DDP对比。
ZeRO分片
06
激活值重计算
选择性重计算、与梯度检查点的区别。
重计算激活
07
显存卸载技术
CPU卸载、NVMe卸载、异步传输。
卸载NVMe
08
张量并行
原理、通信开销、Megatron-LM实现。
并行Megatron
09
流水线并行
GPipe、PipeDream、1F1B调度。
流水线调度
10
序列并行
Ring Attention、Flash Attention原理。
Attention序列
11
算子融合基础
什么是算子融合、为什么需要融合、常见融合模式。
融合模式
12
CUDA Kernel融合
手动融合、使用CUDA Graph、JIT编译。
CUDAJIT
13
TVM与Ansor
自动调优、算子调度、代码生成。
TVM自动调优
14
TensorRT优化
图优化、层融合、量化、动态形状。
TensorRT量化
15
XLA与JIT编译
静态图、HLO、融合策略。
XLA静态图
16
FlashAttention系列
FlashAttention-1/2/3、分块策略、IO感知。
FlashIO感知
17
Fused Adam优化器
多算子融合、减少全局同步。
Adam融合
18
LayerNorm与Softmax融合
数值稳定性、反向传播优化。
LayerNormSoftmax
19
卷积与矩阵乘融合
Winograd、Implicit GEMM、内存布局。
卷积GEMM
20
多卡通信优化
NCCL、AllReduce拓扑、带宽利用率。
NCCL拓扑
21
异步执行与重叠
计算与通信重叠、多流调度。
异步重叠
22
内存池与复用
自定义分配器、tensor复用、垃圾回收策略。
内存池复用
23
模型剪枝与量化
结构化剪枝、非结构化剪枝、PTQ与QAT。
剪枝量化
24
知识蒸馏
软标签、温度系数、蒸馏损失设计。
蒸馏软标签
25
低秩分解
SVD分解、CP分解、Tucker分解在模型压缩中的应用。
低秩压缩
26
动态图与静态图转换
torch.jit、torch.fx、torch.compile。
动态图静态图
27
Profiling工具
Nsight Systems、PyTorch Profiler、自定义hook。
ProfilingNsight
28
端到端优化案例
LLM推理优化、视觉模型训练优化。
LLM视觉
29
前沿技术
稀疏注意力、MoE、Speculative Decoding。
稀疏MoE
30
综合实战
从分析到优化的完整流程、性能调优方法论总结。
实战方法论