VIP20

本课程属于：020-多卡通信 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

多卡通信入门与GPU集群搭建实战

📚 共计 30 章节

GPU集群概述

什么是GPU集群、为什么需要多卡通信、典型应用场景（AI训练/HPC）

GPU架构简介（NVIDIA A100/H100为例）、PCIe与NVLink/NVSwitch拓扑

InfiniBand与RoCEv2对比、网络拓扑（Fat-Tree/Dragonfly）

多卡通信原理

通信模式（AllReduce/AllGather/ReduceScatter）、同步与异步通信

NVIDIA NCCL库入门

NCCL安装与配置、NCCL环境变量详解、NCCL测试工具（nccl-tests）

MPI简介、OpenMPI安装、MPI点对点通信（Send/Recv）

MPI集合通信

MPI_Allreduce、MPI_Bcast、MPI_Gather等实战

集合通信MPI

GPU Direct技术

GPU Direct P2P、GPU Direct RDMA、GDS（GPU Direct Storage）

PyTorch分布式基础

torch.distributed初始化、DistributedDataParallel（DDP）原理

PyTorch DDP实战

单机多卡训练代码实现、梯度同步机制解析

Fully Sharded Data Parallel原理、混合精度训练结合

FSDP混合精度

Horovod架构、与PyTorch/TensorFlow集成、性能调优

DeepSpeed框架

ZeRO优化器（Stage 1/2/3）、Offload技术、MoE支持

张量并行（Tensor Parallelism）、流水线并行（Pipeline Parallelism）

数据并行+张量并行+流水线并行组合、显存与通信开销分析

GPU集群网络规划

网络带宽计算、IB交换机选型、布线规范

集群存储系统

并行文件系统（Lustre/GPFS）、数据缓存策略、IO瓶颈分析

集群管理软件

Slurm作业调度系统安装与配置、分区管理、作业提交脚本

容器化部署

Docker+NVIDIA Container Toolkit、Kubernetes+GPU Operator

Prometheus+Grafana监控GPU指标、NVIDIA DCGM、网络流量监控

性能基准测试

Linpack HPL测试、NCCL带宽测试、实际训练吞吐测试

基准测试HPL

常见通信瓶颈

PCIe带宽限制、跨节点延迟、拓扑感知调度

NCCL超时问题、GPU掉卡、网络丢包、OOM处理

多机多卡训练

多节点DDP配置、SSH免密通信、环境一致性

混合专家模型（MoE）

MoE通信模式、AlltoAll通信、负载均衡

长序列训练优化

Sequence Parallelism、FlashAttention通信影响

长序列FlashAttn

集群成本优化

Spot实例使用、弹性训练、Checkpoint策略

安全与权限

多租户隔离、GPU资源配额、网络ACL策略

安全多租户

NVLink 4.0/C2C互联、CXL协议、DPU卸载通信

从零搭建4节点GPU集群、部署LLaMA训练环境、跑通第一个多机训练任务