01
显存溢出基础
什么是显存溢出（OOM）、典型表现、对训练/推理的影响
OOM基础
02
显存溢出排查工具
nvidia-smi命令详解、gpustat工具、nvtop交互式监控
工具监控
03
PyTorch显存管理
torch.cuda API详解、显存分配策略、缓存机制与清空
PyTorchAPI
04
TensorFlow显存管理
TF显存配置、动态增长策略、内存日志分析
TensorFlow配置
05
模型显存分析
模型参数显存计算、梯度与优化器状态、中间激活显存
计算激活
06
数据加载与显存
DataLoader显存泄漏、pin_memory影响、预处理显存优化
DataLoader优化
07
梯度累积与显存
梯度累积原理、梯度检查点、激活重计算技术
梯度检查点
08
混合精度训练
FP16/FP32混合精度原理、AMP自动混合精度、显存节省评估
AMPFP16
09
分布式训练显存
数据并行、模型并行、张量并行与流水线并行显存分布
分布式并行
10
显存碎片化
CUDA显存碎片成因、检测方法、缓解策略
碎片CUDA
11
显存泄漏排查
Python对象引用泄漏、CUDA上下文泄漏、长期服务泄漏
泄漏排查
12
显存溢出实战案例
Batch Size过大、序列过长、模型过大、多进程显存竞争
案例实战
13
带宽瓶颈基础
显存带宽概念、带宽与算力关系、Roofline模型简介
带宽Roofline
14
带宽瓶颈识别
GPU利用率低但带宽饱和、计算与访存重叠分析
识别分析
15
带宽测量工具
nvidia-smi带宽监控、Nsight Systems分析、自定义带宽测试
测量Nsight
16
数据搬运优化
CPU到GPU数据传输、PCIe带宽限制、异步数据传输
搬运PCIe
17
算子融合与带宽
Element-wise算子融合、Reduce优化、Kernel Launch开销
融合Kernel
18
内存访问模式
合并访问(Coalesced)、对齐访问、Bank Conflict
访问Bank
19
Tensor Core与带宽
Tensor Core使用条件、矩阵分块与带宽、WMMA API
Tensor CoreWMMA
20
数据布局优化
NHWC vs NCHW、Channel Last格式、内存布局对带宽影响
布局Channel Last
21
量化与带宽
INT8/INT4量化、量化对带宽节省、推理带宽分析
量化INT8
22
稀疏化与带宽
结构化稀疏、非结构化稀疏、稀疏矩阵乘法带宽特性
稀疏带宽
23
Attention机制带宽
Self-Attention带宽分析、Flash Attention原理、KV Cache优化
AttentionFlash
24
大模型推理带宽
Prefill阶段带宽、Decode阶段带宽、Continuous Batching
推理Batching
25
多卡通信带宽
NCCL通信库、Ring All-Reduce、通信与计算重叠
NCCLAll-Reduce
26
NVLink与NVSwitch
NVLink拓扑、NVSwitch架构、跨节点通信带宽
NVLinkNVSwitch
27
带宽瓶颈实战案例
小Batch推理、长序列生成、多任务并发
案例并发
28
性能分析工具链
Nsight Systems全流程分析、Nsight Compute Kernel分析、PyTorch Profiler
NsightProfiler
29
系统级优化策略
CPU-GPU流水线、内存池复用、异步预处理
流水线内存池
30
综合调优案例
从OOM到带宽饱和的完整优化过程、性能收益量化、最佳实践总结
综合最佳实践