VIP20

本课程属于：005-分布式训练 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

分布式训练常见问题排查指南

📚 共计 30 章节

分布式训练基础概念

什么是分布式训练、为什么需要分布式训练、数据并行与模型并行。

常见分布式框架对比

PyTorch DDP、Horovod、DeepSpeed、Megatron-LM 的选型与适用场景。

环境配置与依赖问题

CUDA版本不匹配、NCCL库缺失、Python环境冲突的排查方法。

网络通信问题

NCCL超时、网卡绑定错误、跨节点通信延迟高的诊断与修复。

数据加载瓶颈

DataLoader多进程卡死、数据预处理慢、IO瓶颈的定位与优化。

显存溢出（OOM）

Batch Size过大、梯度累积策略、显存碎片化的排查与解决。

梯度同步异常

梯度爆炸/消失、allreduce不收敛、梯度检查点设置错误。

模型保存与加载

分布式checkpoint保存策略、权重转换错误、多卡加载不一致。

Checkpoint权重

日志与监控

TensorBoard配置、分布式日志聚合、性能Profiling工具使用。

监控Profiling

单卡复现问题、缩小数据规模测试、断点续训的实现。

调试断点续训

混合精度训练

AMP配置错误、loss scaling问题、FP16数值不稳定。

动态形状与padding

变长输入导致的计算图不一致、padding策略对分布式的影响。

动态形状Padding

同步与异步模式

同步BN与异步BN的选择、梯度累积步数调优。

节点故障处理

节点掉线、任务重启、弹性训练（Elastic Training）配置。

故障弹性训练

文件系统与存储

共享文件系统NFS性能问题、HDFS与对象存储的适配。

容器化部署

Docker镜像构建、Kubernetes资源限制、Pod间通信配置。

多机多卡配置

SSH免密登录、MPI环境配置、主机文件（hostfile）编写。

计算与通信重叠、梯度压缩、流水线并行调度。

常见报错速查

RuntimeError、CUDA error、NCCL error 的快速定位。

大规模训练稳定性

学习率预热、梯度裁剪、权重衰减的分布式调参。

稳定性调参

数据并行策略

DistributedSampler使用、数据shuffle一致性、数据增强的分布式处理。

数据并行Sampler

模型并行策略

张量并行、流水线并行的切分与通信开销分析。

模型并行切分

ZeRO Stage 1/2/3配置、显存节省原理、通信开销权衡。

异步错误排查

死锁检测、超时设置、非阻塞通信的陷阱。

GPU选择与拓扑

NVLink/NVSwitch拓扑、PCIe带宽限制、GPU亲和性设置。

代码调试工具

pdb分布式调试、torch.distributed.barrier使用、rank打印控制。

自动化运维

Slurm作业调度、任务排队、资源预留策略。

安全与权限

多用户环境隔离、文件权限问题、容器安全配置。

案例实战一：8卡DDP训练ResNet50

8卡DDP训练ResNet50的完整排查流程。

案例实战二：64卡GPT-2通信瓶颈

64卡GPT-2训练中的通信瓶颈分析与优化。