01
显存基础与瓶颈分析
GPU显存架构(HBM/GDDR) · 带宽容量 · 占用分布 · 诊断方法
基础诊断
02
混合精度训练(AMP)
FP16/BF16原理 · Loss Scaling · Master Weights · PyTorch实战
精度加速
03
梯度累积
微批次设计 · Batch Size关系 · 显存收益分析 · 实战代码
累积微批次
04
激活值检查点
时间换空间 · 选择性/全部策略 · PyTorch实现 · 梯度累积配合
检查点激活
05
ZeRO优化器 (DeepSpeed)
Stage 1/2/3 · 参数/梯度分片 · Offload · 显存对比
ZeRO分片
06
模型并行
张量并行 · 流水线并行 · 序列并行 · 混合并行策略
并行Megatron
07
数据并行优化
DDP/FSDP对比 · 梯度压缩 · 异步同步 · DataLoader优化
DDPFSDP
08
显存碎片化管理
CUDA缓存分配器 · 碎片产生 · empty_cache · 自定义策略
碎片CUDA
09
梯度压缩与稀疏化
1-bit/2-bit量化 · Top-k稀疏 · 误差反馈 · 通信重叠
压缩稀疏
10
重计算技术
选择性重计算 · 算子融合 · 与Checkpoint区别 · Transformer应用
重计算融合
11
CPU Offload技术
优化器/参数/激活Offload · 混合策略 · 带宽瓶颈
OffloadCPU
12
内存高效的注意力机制
FlashAttention · Memory-Efficient · Sparse · 线性注意力
注意力Flash
13
张量显存复用技术
In-place操作 · 内存池 · 生命周期 · 梯度就地累加
复用In-place
14
动态显存管理
动态图优化 · JIT · 算子融合 · 预分配 · 运行时监控
动态JIT
15
分布式训练通信优化
AllReduce优化 · 通信拓扑 · 梯度聚合 · 计算重叠
通信NCCL
16
模型结构优化
低秩分解(LoRA) · 参数共享 · 深度可分离 · 剪枝压缩
结构LoRA
17
量化训练(QAT)
INT8/INT4原理 · 伪量化 · 感知训练 · 显存收益
量化QAT
18
稀疏训练技术
动态稀疏 · 权重/梯度稀疏 · 结构化稀疏 · 硬件加速
稀疏动态
19
内存高效的优化器
Adafactor · LAMB · LION · 8-bit Adam · 状态压缩
优化器8-bit
20
流水线并行优化
1F1B调度 · 交错调度 · 气泡最小化 · 负载均衡
流水线调度
21
张量并行优化
列/行/头并行 · 通信模式 · 矩阵分片 · 组合策略
张量并行分片
22
序列并行
Ring Attention · 分布式注意力 · 长序列训练
序列Ring
23
专家混合(MoE)训练优化
MoE架构 · 负载均衡 · 通信优化 · Top-k路由
MoE路由
24
显存Profiling工具
Nsight Systems · PyTorch Profiler · DeepSpeed Profiler · 快照
ProfilerNsight
25
数据加载与预处理优化
内存映射 · 预取 · 压缩 · 异步增强 · 缓存策略
数据加载内存映射
26
梯度检查点高级技巧
自定义策略 · 开销分析 · 与AMP配合 · 超大模型
高级检查点
27
多节点训练显存优化
跨节点通信 · 拓扑感知 · 显存共享 · 容错恢复
多节点集群
28
显存与计算平衡策略
Roofline模型 · 计算-显存权衡 · 自动调优 · 成本效益
平衡Roofline
29
大语言模型(LLM)训练显存优化
LLM显存分析 · LoRA/QLoRA · FlashAttention · ZeRO-3
LLMQLoRA
30
综合案例与最佳实践
单卡到千卡方案 · 问题排查 · 调优流程 · 未来趋势
综合实践