VIP20
本课程属于：054-单细胞空间整合特征学习任务 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

分布式训练显存优化技巧

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
显存基础
GPU显存架构 · 显存分配与回收机制 · 显存溢出常见原因分析
显存基础GPU
02
显存监控工具
nvidia-smi详解 · torch.cuda内存API · 显存碎片可视化
显存监控工具nvidia-smi
03
模型显存分析
模型参数 · 梯度 · 优化器状态
模型显存分析模型参数
04
混合精度训练（AMP）
FP16/FP32原理 · 自动混合精度（torch.cuda.… · 梯度缩放
AMP混合精度训练
05
梯度检查点（Activation Checkpointing）
原理 · 实现（torch.utils.che… · 计算与显存的权衡
ActivationCheckpointin…
06
ZeRO优化器（DeepSpeed Zero）
ZeRO-1/2/3原理 · 配置 · 显存节省效果
ZeRODeepSpeed
07
数据并行（Data Parallelism）
PyTorch DDP · Horovod · 梯度同步开销
DataParallelism
08
模型并行（Model Parallelism）
张量并行（Tensor Parall… · Megatron实现 · 通信模式
ModelParallelism
09
流水线并行（Pipeline Parallelism）
GPipe · PipeDream · 1F1B策略
PipelineParallelism
10
序列并行（Sequence Parallelism）
长序列训练优化 · Ring Attention · Flash Attention集成
SequenceParallelism
11
CPU Offloading
将优化器状态/梯度卸载到CPU · DeepSpeed offload · torch.cuda.Stream
CPUOffloading
12
显存碎片优化
CUDA memory alloca… · PYTORCH_CUDA_ALLOC… · 显存池管理
显存碎片优化CUDA
13
激活内存优化
激活显存生命周期 · in-place操作 · 激活压缩
激活内存优化激活显存生命周期
14
梯度累积（Gradient Accumulation）
模拟更大batch size · 减少通信频率 · 显存缓解
GradientAccumulation
15
通信优化
梯度压缩（Gradient Comp… · 异步通信 · 稀疏通信
通信优化Gradient
16
分布式训练框架对比
DeepSpeed · Megatron-LM · FairScale
分布式训练框架对…DeepSpeed
17
FSDP（Fully Sharded Data Parallel）
PyTorch原生ZeRO-3实现 · sharding策略 · 混合精度兼容
FSDPFully
18
优化器显存优化
Adafactor · LAMB · bit Adam（bitsandby…
优化器显存优化Adafactor
19
模型结构显存优化
Flash Attention · MQA/GQA · 线性注意力
模型结构显存优化Flash
20
混合专家模型（MoE）显存
稀疏激活 · 专家并行 · 负载均衡
MoE混合专家模型
21
梯度与参数压缩
梯度量化 · 稀疏梯度 · 随机梯度丢弃
梯度参数压缩
22
异步训练与流水线重叠
前向-反向重叠 · 通信-计算重叠 · H2D/D2H异步
异步训练流水线重叠
23
动态显存调度
torch.cuda.empty_c… · 手动控制 · 显存池清理
动态显存调度torch.cuda.e…
24
训练脚本显存分析工具
profiler · memory_snapshot · pytorch_memlab
训练脚本显存分析…profiler
25
分布式训练中的内存泄漏
常见原因（张量未释放 · hook引用 · 梯度保留）
分布式训练内存泄漏
26
虚拟批次（Virtual Batch Size）
梯度累积与流水线结合 · BN统计管理
VirtualBatch
27
梯度与激活的混合策略
根据不同层采用不同检查点/精度/卸载…
梯度激活的混合策略
28
大规模分布式训练案例
GPT-3/LLaMA训练中显存优化… · 直觉与取舍
大规模分布式训练…GPT-3/LLaMA
29
显存优化总结与选型指南
显存预算计算 · 策略组合 · 常见问题解决图谱
显存优化总结选型指南
30
未来趋势
近内存计算 · 稀疏训练 · 可微分架构搜索
未来趋势近内存计算