VIP20
本课程属于：020-SMILES分子生成建模 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

GPU内存优化与训练加速

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
GPU基础架构与内存层次
SM · L1/L2缓存 · 显存（HBM/GDDR）特性及其对训…
GPU基础架构
02
张量显存占用分析
模型参数 · 梯度 · 优化器状态
张量显存占用分析模型参数
03
PyTorch显存管理机制
cudaMalloc · 内存分配器缓存 · torch.cuda.memory_…
PyTorch显存管理机制
04
显存监控与调试工具
nvidia-smi · torch.cuda.MemoryS… · Nsight Systems的实操
显存监控调试工具
05
梯度累积（Gradient Accumulation）
原理 · 实现方式 · 微batch大小选择与训练收敛性影响
GradientAccumulation
06
混合精度训练（AMP）
FP16/BF16原理 · 梯度缩放 · Loss Scaling
AMP混合精度训练
07
分布式数据并行（DDP）
梯度同步机制 · 通信开销 · Batch Size与显存平衡
DDP分布式数据并行
08
模型并行（Model Parallelism）
层内切分 · PipeDream策略 · 手动拆分与自动并行
ModelParallelism
09
流水线并行（Pipeline Parallelism）
微批次 · 气泡（Bubble）分析 · 1F1B调度策略
PipelineParallelism
10
ZeRO优化器（Stage 1/2/3）
数据并行下的显存节省原理 · 分片策略 · 通信开销对比
ZeROStage
11
DeepSpeed集成
ZeRO-3配置 · CPU offload · NVMe offload
DeepSpeed集成
12
Megatron-LM核心技巧
张量并行 · 序列并行 · 层间并行
Megatron-LM核心技巧
13
激活重计算（Activation Checkpointing）
选择checkpoint层 · 节省显存的数学公式 · trade-off分析
ActivationCheckpointin…
14
梯度压缩与稀疏通信
Top-K稀疏化 · 量化梯度 · Async-SGD与延迟补偿
梯度压缩稀疏通信
15
CPU Offload策略
优化器状态offload · 参数offload · 梯度offload的实现与开销
CPUOffload
16
内存碎片化问题
显存碎片产生原因 · 避免策略 · PyTorch的expandable…
内存碎片化问题显存碎片产生原因
17
数据加载优化
DataLoader多线程 · prefetch_factor · 内存映射（mmap）
数据加载优化DataLoader
18
算子融合与Kernel优化
torch.jit.script · torch.compile · FlashAttention原理
Kernel算子融合
19
内存池与缓存复用
Tensor池 · 动态形状管理 · 避免不必要的张量拷贝
内存池缓存复用
20
Batch Size与学习率调整
线性缩放规则 · Warmup · 余弦退火
BatchSize
21
梯度检查（Gradient Checkpointing）进阶
自定义checkpoint包装器 · 选择性重计算
GradientCheckpointin…
22
流水线调度与微批次优化
异步通信 · 重叠计算和通信 · 梯度累积合并
流水线调度微批次优化
23
显存带宽瓶颈分析
理论带宽vs实测 · 计算强度（Arithmetic In… · roofline模型
显存带宽瓶颈分析vs
24
稀疏训练与混合专家模型（MoE）
Top-k路由 · 专家并行 · 负载均衡损失
MoE稀疏训练
25
一键式显存优化工具
torch.cuda.empty_c… · cudnn.benchmark · 内存统计钩子
一键式显存优化工…torch.cuda.e…
26
多机多卡训练网络优化
NCCL参数调优 · Ring-AllReduce · 树形AllReduce
多机多卡训练网络…NCCL
27
Gradient Accumulation与Pipeline并行结合
微batch调度 · 显存平面化 · 吞吐量模型
GradientAccumulation
28
训练过程中显存泄漏排查
Tensor引用循环 · hook未清理 · cuda.memory_snapsh…
训练过程显存泄漏排查
29
大模型微调中的显存优化
LoRA · AdaLoRA · Prefix Tuning
大模型微调显存优化
30
生产环境实战案例
48GB显存训练70B模型 · 多任务训练显存复用 · 超算集群优化心得
生产环境实战案例GB