VIP20

本课程属于：005-分布式训练 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

分布式训练编排实战

📚 共计 30 章节

分布式训练概述

为什么需要分布式训练 · 核心挑战：通信瓶颈、同步开销、容错性 · 常见并行策略概览

数据并行原理

数据并行核心思想 · 梯度同步 AllReduce · 同步与异步更新对比

模型并行原理

模型并行动机 · 层内/层间并行 · Pipeline并行与气泡问题

数据+模型组合 · 3D并行 · ZeRO优化器内存节省原理

分布式训练框架选型

PyTorch DDP · Horovod MPI · DeepSpeed ZeRO · Megatron-LM

PyTorch DDP实战

torch.distributed初始化 · DistributedSampler · 多节点torchrun

NCCL通信库详解

Ring/Tree AllReduce · 环境变量调优 · 通信瓶颈排查

数据加载与预处理优化

DistributedSampler · DALI加速 · 避免数据重复

梯度累积与混合精度训练

accumulation_steps · AMP GradScaler · FP16/BF16稳定性

AMP混合精度

Checkpoint与容错

分布式保存/加载 · DeepSpeed Checkpointing · 中断恢复

监控与调试

TensorBoard · Nsight Systems · NCCL超时/OOM排查

Kubernetes基础

Pod/Service/Volume · kubectl · 单机训练任务

K8s分布式训练编排

TorchElastic · Job/CronJob · Volcano调度器

Kubeflow & Training Operator

Kubeflow安装 · PyTorchJob CRD · Pipeline编排

Ray框架与分布式训练

Ray Core · Ray Train · Ray Serve模型部署

Slurm集群分布式训练

srun/sbatch/squeue · PyTorch DDP on Slurm · NCCL集成

超参数搜索

Ray Tune · Optuna+K8s · ASHA异步搜索

模型并行实战

Megatron-LM张量并行 · Pipeline Interleaved · 手动切分权重

ZeRO优化器实战

ZeRO-1/2/3配置 · Offload到CPU · ZeRO-Infinity NVMe

分布式推理与模型服务

vLLM · TensorRT-LLM · 负载均衡策略

RDMA/InfiniBand · RoCE配置 · 网络拓扑对AllReduce影响

GPU显存优化技术

Activation Checkpointing · memory_stats · FlashAttention

显存FlashAttention

大规模训练稳定性

Warmup · 余弦退火 · 梯度裁剪 · Loss Scaling

日志与实验管理

MLflow · Weights & Biases · 实验对比可视化

GitHub Actions · Docker构建 · 模型版本控制 DVC

Spot实例 · 弹性训练 · SkyPilot跨云调度

联邦学习与隐私计算

FATE/PySyft · DP-SGD · Secure Aggregation

案例分析 GPT-3

3D并行配置 · ZeRO应用 · 故障恢复

案例分析 LLaMA

FSDP vs DeepSpeed · Meta基础设施 · RedPajama复现

分布式训练未来趋势

MoE · 序列并行 · 万卡集群调度挑战