VIP8

本课程属于：025-GPU分布式训练与加速工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

集群训练问题诊断实战指南

📚 共计 30 章节

集群训练概述

分布式训练基础 · 集群架构 · Ring/Tree AllReduce

环境搭建与配置

NVIDIA驱动 · CUDA · cuDNN · Docker/K8s环境

网络通信基础

InfiniBand vs RoCE · NCCL原理 · 带宽延迟

数据并行训练

数据并行 · 梯度同步 · AllReduce · 加载瓶颈

模型并行训练

张量并行 · 流水线并行 · 1D/2D策略

模型并行策略

混合并行策略

3D并行 · ZeRO · FSDP 全分片数据并行

训练任务启动与监控

torchrun · mpirun · nvidia-smi · nvtop

日志与指标采集

TensorBoard · WandB · 吞吐量 · GPU利用率

常见错误类型概览

OOM · NCCL超时 · 梯度爆炸 · 数据卡死

OOM问题诊断

显存溢出 · batch size · 梯度检查点 · AMP

NCCL超时问题

网络拥塞 · 节点故障 · 超时调优 · 排查

梯度爆炸与消失

梯度裁剪 · 权重初始化 · BN · 学习率调度

数据加载卡死

num_workers · 预处理瓶颈 · IO · 采样器

网络断连与通信故障

网卡 · 交换机 · 链路聚合 · RDMA故障

GPU利用率低

CPU瓶颈 · 数据加载 · 小batch · 算子融合

显存碎片化

碎片产生 · 显存池 · empty_cache · 整理

训练不收敛

学习率 · 损失函数 · 数据预处理 · 初始化

同步与异步模式

同步vs异步 · 梯度陈旧性 · 混合模式

容错与恢复

中断恢复 · checkpoint · 弹性训练

性能调优工具

Nsight Systems · PyTorch Profiler · Flops

算子融合 · Flash Attention · Fused Adam

内存优化技术

激活检查点 · 内存卸载 · CPU-GPU混合

梯度压缩 · 累积 · 计算重叠 · NCCL调优

大规模集群调度

Slurm · Kubernetes · 优先级 · 亲和性

集群健康检查

节点检测 · dcgm · 网络连通 · 存储健康

存储系统问题

Lustre/GPFS · 缓存策略 · IOPS瓶颈

多租户环境问题

资源隔离 · 显存隔离 · 带宽隔离 · 干扰

多租户隔离

案例实战1：8卡A100 OOM

OOM排查与解决 · 实战调优

案例实战2：64节点NCCL超时

超时定位 · 网络拓扑优化 · 大规模

案例实战3：LLaMA-13B调优

混合并行 · 性能调优全流程