01
显存基础
什么是显存、显存与内存的区别、GPU架构简介、显存带宽与容量
概念硬件
02
PyTorch显存管理
torch.cuda基础、显存分配与释放机制、memory_summary()解读
PyTorchAPI
03
Tensor与显存
Tensor存储格式、连续与非连续张量、生命周期与显存回收
张量内存
04
梯度与计算图
计算图原理、梯度存储机制、retain_graph与detach妙用
自动微分技巧
05
Batch Size调优
Batch Size对显存影响、梯度累积、动态Batch Size策略
训练调参
06
混合精度训练(AMP)
FP16/FP32原理、AMP自动混合精度、GradScaler、实战对比
精度加速
07
梯度检查点
原理与实现、torch.utils.checkpoint、时间换空间策略
Checkpoint显存
08
模型并行
DataParallel局限、DistributedDataParallel、模型/流水线并行
分布式并行
09
张量并行与序列并行
Megatron-LM思想、张量切片、序列并行Transformer
大模型切片
10
ZeRO优化器
ZeRO-1/2/3原理、DeepSpeed配置、Offload、显存节省实测
ZeRODeepSpeed
11
激活值优化
激活值存储分析、Activation Checkpointing、Compress Activation
激活压缩
12
显存碎片化
CUDA碎片成因、碎片化诊断、PyTorch显存池优化、整理策略
碎片CUDA
13
数据加载优化
DataLoader与显存、pin_memory、prefetch_factor、内存映射
IODataLoader
14
模型剪枝
结构化/非结构化剪枝、torch.pruning、剪枝后显存变化
剪枝压缩
15
量化技术
INT8量化、动态/静态量化、量化感知训练、显存与速度权衡
量化INT8
16
知识蒸馏
蒸馏原理、教师-学生模型、蒸馏对显存影响、实战案例
蒸馏压缩
17
分布式训练显存
NCCL通信与显存、梯度同步开销、通信计算重叠、Ring All-Reduce
分布式NCCL
18
显存监控与Profiling
nvidia-smi详解、PyTorch Profiler、Nsight Systems、泄漏检测
监控Profiler
19
常见显存错误
CUDA OOM、illegal memory access、泄漏排查、最佳实践
错误调试
20
大模型显存估算
参数量与显存、KV Cache显存、推理/训练显存估算公式
大模型估算
21
Flash Attention
原理与实现、标准Attention vs Flash Attention、显存速度对比
Attention加速
22
PagedAttention与vLLM
PagedAttention原理、vLLM框架、显存管理创新、推理加速
vLLM推理
23
CPU Offload技术
模型参数Offload、优化器状态Offload、激活值Offload、异构训练
OffloadCPU
24
显存复用技术
内存池设计、显存复用策略、PyTorch缓存分配器、自定义管理
复用内存池
25
单卡显存极限优化
综合优化策略、LLaMA微调实战、显存从24G到8G优化过程
极限LLaMA
26
多卡显存协同
张量并行+流水线并行+数据并行组合、3D并行、负载均衡
多卡3D并行
27
推理显存优化
KV Cache优化、Continuous Batching、Speculative Decoding、引擎对比
推理KV Cache
28
显存与性能权衡
时间-空间权衡、优化目标设定、自动化工具、成本效益分析
权衡自动化
29
前沿显存技术
CXL与显存扩展、近存计算、存算一体、未来架构展望
前沿CXL
30
综合实战项目
从零优化GPT训练、显存优化全流程、性能平衡、最佳实践
实战GPT