VIP20

本课程属于：001-GPU集群训练 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

多卡同步训练全攻略

📚 共计 30 章节

分布式训练基础

为什么需要多卡训练？单卡瓶颈与多卡优势，同步与异步训练的区别。

硬件环境准备

GPU选型建议（A100/H100/V100），NVLink与PCIe拓扑，InfiniBand vs RoCE。

软件环境搭建

CUDA、cuDNN、NCCL版本匹配，PyTorch/TensorFlow分布式包，Docker容器化。

数据并行原理

数据并行核心思想，梯度同步AllReduce，Batch Size与学习率缩放。

并行AllReduce

模型并行与流水线并行

模型并行/张量并行，流水线并行与微批次Micro-batch概念。

模型并行流水线

混合精度训练（AMP）

FP16/BF16与FP32混合精度，Loss Scaling，Apex与PyTorch AMP实战。

梯度累积与梯度压缩

梯度累积解决显存不足，梯度压缩减少通信开销。

PyTorch DDP详解

DistributedDataParallel原理，init_process_group，DistributedSampler。

PyTorch FSDP详解

Fully Sharded Data Parallel，Sharding策略，CPU Offload。

TensorFlow分布式策略

MirroredStrategy、MultiWorkerMirroredStrategy、TPUStrategy对比。

TensorFlow策略

Horovod分布式框架

Ring-AllReduce架构，与PyTorch/TensorFlow集成，Timeline分析。

DeepSpeed框架入门

ZeRO Stage 1/2/3，Offload，Sparse Attention原理与配置。

Megatron-LM与模型并行

张量并行与流水线并行，GPT/BERT分布式训练案例。

FairScale与PyTorch生态

ShardedDDP、Optimizer State Sharding，与FSDP对比。

FairScale生态

分布式训练启动方式

torchrun vs mp.spawn vs launch，启动参数详解。

数据加载与预处理优化

DataLoader多进程，mmap与缓存，TFRecord/WebDataset。

通信库NCCL深入

Ring、Tree、All-to-All算法，环境变量调优。

网络性能调优

带宽与延迟优化，TCP/IP vs RDMA，拓扑感知调度。

显存优化技术

Activation Checkpointing，Memory Efficient Attention，碎片整理。

显存Checkpoint

日志与监控

TensorBoard、NVIDIA DCGM、nvidia-smi、Weights & Biases。

断点续训与容错

Checkpoint保存加载，中断恢复，弹性训练。

超参数调优

Warmup与余弦退火，Batch Size与LR关系，Grid/Bayesian Search。

性能Profiling

PyTorch Profiler，Nsight Systems，通信与计算重叠。

ProfilingNsight

常见错误与调试

CUDA OOM，NCCL超时死锁，版本不兼容，梯度爆炸与NaN。

多机多卡训练

多节点配置hostfile/ssh，跨节点通信优化，带宽计算。

大规模语言模型训练实践

GPT/Llama分布式案例，数据+模型+流水线并行组合。

计算机视觉分布式训练

ImageNet分布式案例，SyncBN与多卡评估。

推荐系统分布式训练

大规模Embedding分布式存储，参数服务器架构。

强化学习分布式训练

A3C/IMPALA架构，分布式Replay Buffer，Ray RLlib。

未来趋势与总结

SPMD、JAX、Triton新趋势，课程总结与最佳实践清单。