VIP20

本课程属于：022-显存优化 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流水线并行显存优化实战

📚 共计 30 章节

显存基础与瓶颈分析

GPU显存架构（HBM/GDDR）· 带宽与容量限制 · 显存墙 · 生命周期

显存基础瓶颈

流水线并行原理

模型切分 · 微批次调度 · 流水线气泡 · GPipe vs PipeDream

1F1B调度策略

同步/异步1F1B · 显存影响 · 吞吐量权衡

重计算（Recomputation）

激活值重计算 · 选择性策略 · 流水线结合 · 计算开销

重计算激活

显存卸载（Offloading）

CPU-GPU卸载 · ZeRO-Offload · 协同 · 带宽瓶颈

张量并行与流水线并行混合

混合并行 · 张量切分 · 显存分配 · 通信权衡

混合并行通信

序列并行（Sequence Parallelism）

序列切分 · Ring Attention · 流水线结合 · 长序列优化

序列Attention

激活值压缩技术

量化(FP16/INT8) · 稀疏化 · 压缩率与精度 · 反向传播

梯度累积与显存优化

梯度累积原理 · 步数选择 · 气泡关系 · 收敛影响

梯度累积收敛

显存碎片整理

CUDA分配机制 · 碎片产生 · Malleable Allocator · 稳定性

虚拟流水线（Virtual Pipeline）

虚拟流水线概念 · 阶段映射 · 显存均衡 · 实现细节

自动混合精度（AMP）优化

Master Weights · Loss Scaling · 流水线结合 · 数值稳定性

ZeRO系列优化（ZeRO-1/2/3）

各阶段原理 · 流水线结合 · 通信开销 · ZeRO-Infinity

显存Profiling工具

Nsight Systems · PyTorch Profiler · 自定义Hook · 调优

Profiling工具

动态显存管理

动态分配 · Memory Pool · 显存复用 · 流水线实现

Checkpointing策略

保存频率 · 分布式Checkpoint · 异步 · 显存释放

Checkpoint分布式

数据加载与预处理显存优化

Pipeline · mmap · 预取缓存 · 训练显存影响

数据加载mmap

通信优化与显存

计算重叠 · NVLink/InfiniBand · 缓冲区管理 · 显存占用

模型结构优化

FlashAttention · MLP优化 · LayerNorm融合 · 显存影响

显存均衡策略

负载分析 · 均衡调度 · 动态均衡 · 训练效率

稀疏训练与显存

MoE · 稀疏梯度 · 流水线结合 · 显存收益

梯度压缩技术

梯度量化 · 稀疏化 · 流水线结合 · 收敛影响

梯度压缩量化

异步执行与显存

异步前向/反向 · 显存释放 · 训练稳定性

显存预留与预分配

预留策略 · 缓冲区大小 · 启动影响 · 实现

预留预分配

混合精度训练进阶

BF16/TF32/FP8 · 流水线结合 · 精度权衡

显存优化工具链

Megatron-LM · DeepSpeed · ColossalAI · FairScale

工具链框架

显存优化案例分析

GPT-3 · LLaMA · BERT · T5 显存优化

显存优化Benchmark

评估指标 · Benchmark工具 · 策略对比 · 结果分析

Benchmark评估

显存优化最佳实践

策略选择 · 常见问题 · 优化流程 · 经验总结

最佳实践指南

未来趋势与展望

HBM3/HBM4 · Expert Parallelism · 研究方向 · 硬件协同