01
显存基础与瓶颈分析
GPU显存架构、显存带宽与容量、显存峰值产生原因、性能瓶颈定位方法。
基础瓶颈
02
PyTorch显存管理机制
Tensor存储原理、CUDA缓存分配器、显存回收策略、torch.cuda最佳实践。
PyTorch机制
03
梯度累积与显存优化
梯度累积原理、accumulation_steps设置、与Batch Size的关系、实战代码示例。
梯度累积
04
混合精度训练(AMP)
FP16与FP32原理、AMP自动混合精度、GradScaler使用、显存节省效果分析。
AMP精度
05
激活值检查点(Checkpointing)
Checkpointing原理、torch.utils.checkpoint、选择性Checkpoint策略、与梯度累积结合。
检查点激活
06
梯度压缩与通信优化
梯度压缩算法、AllReduce优化、梯度异步通信、Ring-AllReduce实战。
通信压缩
07
模型并行策略
Data Parallelism原理、DistributedDataParallel、模型并行与流水线并行、张量并行。
并行分布式
08
ZeRO优化器
ZeRO Stage 1/2/3原理、DeepSpeed ZeRO、显存节省对比、配置实战。
ZeRODeepSpeed
09
显存碎片化处理
碎片化产生原因、CUDA内存池、碎片整理策略、PyTorch显存碎片优化。
碎片内存池
10
动态显存分配与释放
torch.cuda.empty_cache、显存预分配、动态图优化、显存复用技术。
动态释放
11
模型剪枝与量化
结构化剪枝、非结构化剪枝、训练后量化(PTQ)、量化感知训练(QAT)。
剪枝量化
12
知识蒸馏与轻量化
知识蒸馏原理、教师-学生模型、蒸馏损失函数、轻量化网络设计。
蒸馏轻量
13
数据加载与预处理优化
DataLoader多进程、内存映射文件、数据预处理流水线、缓存策略。
数据加载
14
Batch Size与学习率调优
Batch Size对显存影响、学习率缩放策略、Warmup与Cosine调度、显存-性能平衡。
Batch学习率
15
序列长度与注意力优化
稀疏注意力、Flash Attention原理、长序列处理、显存与精度权衡。
注意力序列
16
显存监控与Profiling工具
nvidia-smi详解、PyTorch Profiler、Nsight Systems、显存泄漏检测。
监控Profiler
17
分布式训练显存优化
NCCL通信优化、梯度累积分布式、模型并行分布式、ZeRO分布式。
分布式NCCL
18
推理阶段显存优化
推理与训练显存差异、KV Cache优化、连续批处理、推理引擎选择。
推理KV Cache
19
显存交换与Offloading
CPU-GPU显存交换、NVLink与PCIe带宽、Offloading策略、异步传输。
Offload交换
20
大模型训练显存挑战
LLM显存需求分析、Activation Checkpointing进阶、3D并行、Megatron-LM实践。
大模型3D并行
21
显存优化案例分析(一)
ResNet训练优化、显存从16GB降到8GB、完整优化流程、效果对比。
ResNet案例
22
显存优化案例分析(二)
BERT训练优化、序列长度128到512、显存与吞吐量平衡、实战调参。
BERT调参
23
显存优化案例分析(三)
GPT-2微调优化、ZeRO Stage 3应用、梯度检查点配置、显存峰值降低50%。
GPT-2ZeRO-3
24
显存优化案例分析(四)
ViT训练优化、Patch大小与显存、混合精度与Checkpointing、显存-精度权衡。
ViTPatch
25
显存优化案例分析(五)
Diffusion模型优化、UNet显存瓶颈、Latent Diffusion优化、显存与生成质量。
DiffusionUNet
26
显存优化案例分析(六)
推荐系统模型优化、Embedding显存优化、稀疏特征处理、大规模分布式训练。
推荐Embedding
27
显存优化工具链搭建
自动化显存分析脚本、显存优化Pipeline、CI/CD集成、最佳实践文档。
工具链CI/CD
28
显存优化与模型性能平衡
显存节省与训练速度、显存与模型精度、多目标优化、决策框架。
平衡决策
29
前沿显存优化技术
PagedAttention、vLLM显存管理、InfiniteContext、未来趋势。
前沿vLLM
30
显存优化全流程总结
优化流程回顾、常见问题FAQ、优化Checklist、持续学习资源。
总结FAQ