VIP20

本课程属于：020-多卡通信 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

多卡通信算子优化从零开始

📚 共计 30 章节

为什么需要多卡通信？从单机单卡到多机多卡的演进，通信算子的核心概念。

NVLink、PCIe、InfiniBand、以太网的对比，通信拓扑对性能的影响。

AllReduce、AllGather、ReduceScatter、Broadcast的原理与适用场景。

原语集合通信

Ring AllReduce的算法原理，分步拆解（ReduceScatter + AllGather）。

Tree AllReduce的算法原理，与Ring AllReduce的对比。

通信延迟模型

理解延迟（Latency）与带宽（Bandwidth），计算通信时间公式。

通信与计算重叠

如何利用异步通信隐藏延迟，Stream与Event的使用。

NCCL库的安装与配置，NCCL的通信模式（Send/Recv, AllReduce等）。

NCCL的拓扑感知与算法选择，环境变量调优（NCCL_ALGO, NCCL_PROTO等）。

调优环境变量

NCCL性能分析

使用NCCL的Profiler工具，分析通信瓶颈。

MPI的安装与配置，MPI的通信模式（Point-to-Point, Collective）。

MPI的Non-blocking通信，MPI与NCCL的对比。

非阻塞对比

GLOO的安装与配置，GLOO的通信模式，与NCCL的对比。

自定义通信算子

基于CUDA实现简单的Send/Recv，理解底层通信机制。

通信算子融合

将多个小通信算子合并为一个大通信算子，减少通信次数。

通信算子切分

将大通信算子切分为多个小通信算子，提高并行度。

通信调度优化

静态调度与动态调度，通信与计算的依赖关系管理。

通信内存优化

减少通信过程中的内存拷贝，使用P2P与RDMA。

通信带宽优化

利用NVLink/NVSwitch提升带宽，多路径通信。

通信延迟优化

减少通信启动延迟，使用Persistent Kernel。

通信负载均衡

解决多卡通信中的负载不均问题，动态调整通信量。

负载均衡动态

通信超时处理，通信失败重试机制。

通信与模型并行

模型并行中的通信模式（Pipeline Parallel, Tensor Parallel）。

模型并行PP/TP

通信与数据并行

数据并行中的通信模式（AllReduce, Gradient Accumulation）。

通信与混合并行

3D并行（DP+PP+TP）中的通信挑战与优化。

通信与ZeRO优化

ZeRO系列优化中的通信模式（ReduceScatter, AllGather）。

通信与序列并行

序列并行中的通信模式（Ring Attention, Flash Attention）。

序列并行Attention

通信与专家并行

MoE模型中的通信模式（All-to-All, TopK Routing）。

通信Profiling工具

使用Nsight Systems、PyTorch Profiler分析通信性能。

ProfilingNsight

基于PyTorch DDP + NCCL优化一个LLM训练任务，从Profiling到调优的全流程。