01
显存基础与瓶颈分析
GPU显存架构、带宽与容量、溢出场景、NVIDIA-SMI/nsys工具
基础诊断
02
数据加载优化
DataLoader原理、num_workers、prefetch_factor、mmap文件读取
IO吞吐
03
混合精度训练(AMP)
FP16/BF16原理、AMP实现、GradScaler、收益与陷阱
精度加速
04
梯度累积策略
梯度累积原理、accumulation_steps、Batch Size关系、分布式累积
梯度稳定
05
激活值检查点
Activation Checkpointing原理、torch.utils.checkpoint、计算/显存权衡
重计算节省
06
模型并行策略
MP vs DP、张量并行(TP)、流水线并行(PP)、1D/2D并行选择
并行分布式
07
ZeRO优化器
ZeRO-Stage1/2/3原理、DeepSpeed配置、显存量化、HuggingFace集成
显存DeepSpeed
08
显存碎片整理
CUDA缓存分配器、PYTORCH_CUDA_ALLOC_CONF、max_split_size_mb、监控清理
碎片CUDA
09
梯度压缩与通信优化
梯度压缩、AllReduce优化、梯度量化、稀疏化实战
通信压缩
10
模型剪枝技术
结构化/非结构化剪枝、torch.prune、剪枝后微调、显存/速度权衡
剪枝稀疏
11
知识蒸馏
蒸馏原理、教师-学生架构、温度系数与软标签、显存占用分析
蒸馏压缩
12
量化推理(INT8/INT4)
量化原理、PTQ与QAT、bitsandbytes库、显存占用实测
量化推理
13
Flash Attention
Flash Attention原理、标准vs Flash对比、torch实现、长序列收益
注意力加速
14
PagedAttention与vLLM
PagedAttention核心、vLLM架构、KV Cache管理、推理显存优化
vLLMKV
15
连续批处理
动态批处理原理、vLLM/TRT-LLM实现、请求调度、吞吐/延迟平衡
批处理推理
16
CPU Offloading技术
参数/优化器/梯度Offloading、DeepSpeed Offload配置
OffloadCPU
17
内存高效微调(LoRA/QLoRA)
LoRA原理、QLoRA 4bit微调、PEFT库、显存占用对比
微调LoRA
18
梯度检查点与重计算
重计算策略、选择性重计算、与梯度累积结合、代码模板
检查点重计算
19
动态显存分配
torch.cuda.memory_stats、显存池管理、动态扩容、OOM自动恢复
动态监控
20
分布式训练显存优化
NCCL通信优化、梯度同步、分布式采样器、负载均衡
分布式NCCL
21
模型结构优化
Attention变体(MHA/MQA/GQA)、FFN优化、LayerNorm调整、Embedding共享
架构高效
22
数据预处理与缓存
预处理流水线、WebDataset、缓存策略(LRU/LFU)、磁盘IO平衡
数据缓存
23
推理引擎优化(TensorRT-LLM)
TRT-LLM架构、图优化与算子融合、动态形状、显存池配置
TensorRT推理
24
显存监控与告警
Prometheus+Grafana、自定义告警、OOM日志分析、自动扩缩容
监控告警
25
多任务显存调度
任务优先级、显存预留、动态调度、GPU时间片分配
调度多任务
26
稀疏计算与稀疏注意力
稀疏注意力、Block Sparse Attention、稀疏矩阵存储、显存收益
稀疏注意力
27
模型并行与序列并行
序列并行原理、Ring Attention、分布式长序列训练、显存/通信权衡
序列并行长序列
28
显存压缩算法
梯度压缩(1-bit SGD)、模型压缩(蒸馏+量化)、激活压缩、混合策略
压缩混合
29
云原生GPU显存管理
Kubernetes GPU调度、显存隔离与QoS、GPU Share/MIG、弹性训练
云原生K8s
30
综合实战案例
从OOM到稳定训练全流程、多策略组合、性能/显存决策树、最佳实践
实战总结