VIP20

本课程属于：020-多卡通信 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

多卡通信显存优化进阶技巧

📚 共计 30 章节

显存基础与通信瓶颈

NVLink vs PCIe，通信计算重叠，显存墙与通信墙

通信原语深入

AllReduce/AllGather/ReduceScatter，Ring vs Tree

NCCL核心机制

初始化、通信组、内核调度，NCCL_DEBUG调试

显存复用技术

In-Place操作、梯度累积、激活重计算

显存Checkpoint

ZeRO优化器详解

ZeRO-1/2/3，Offload到CPU与NVMe

混合精度训练 (AMP)

FP16/BF16显存节省，Loss Scaling与梯度裁剪

通信压缩技术

梯度压缩、Top-K稀疏化、1-bit/2-bit SGD

异步通信与流水线

CUDA Stream重叠，多Stream并发管理

张量并行 (Tensor Parallelism)

Megatron-LM 1D/2D切分，通信与显存开销

流水线并行 (Pipeline Parallelism)

GPipe/PipeDream，1F1B调度与显存权衡

数据并行进阶

分布式Sampler、梯度累积调优、动态batch

显存碎片管理

PyTorch缓存分配器，PYTORCH_CUDA_ALLOC_CONF

碎片分配器

梯度检查点 (Gradient Checkpointing)

分段计算与显存节省，Transformer应用

Checkpoint重计算

CPU Offload技术

参数/优化器/梯度Offload，带宽瓶颈分析

NVLink与NVSwitch拓扑

拓扑对通信影响，NCCL拓扑感知优化

通信带宽测量

NCCL AllReduce带宽测试，实际vs理论

梯度累积与同步

累积步数对收敛影响，同步频率与通信开销

分布式优化器

LAMB、LARS实现，通信与计算协同

模型并行与数据并行混合

3D并行 (DP+TP+PP) 建模与部署案例

通信调度策略

优先级调度、依赖图优化、自动流水线

调度依赖图

显存分析工具

torch.cuda.memory_summary, nvidia-smi, Nsight

通信热点分析

Nsight Systems/NCCL Profiler定位瓶颈

动态显存管理

动态分配/释放，torch.cuda.empty_cache()实践

序列并行 (Sequence Parallelism)

长序列显存优化，Ring Attention与Flash Attention

序列并行Attention

专家并行 (Expert Parallelism)

MoE显存通信优化，Top-K门控与负载均衡

通信库选择

NCCL vs Gloo vs MPI，选型与性能对比

多机多卡通信优化

跨节点带宽瓶颈，RDMA与RoCEv2配置

显存与通信联合优化

压缩减少显存，复用减少通信量

大规模训练案例

175B参数显存通信方案，部署经验

未来趋势与前沿

NVLink 4.0、CXL互连、近存计算