VIP20

本课程属于：015-NCCL AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NCCL性能剖析与吞吐压测指南

📚 共计 30 章节

NCCL基础认知

NCCL是什么、为什么需要NCCL、NCCL在分布式训练中的角色。

NCCL通信原语

AllReduce、AllGather、ReduceScatter、Broadcast的原理与适用场景。

NCCL初始化与拓扑检测

ncclGetUniqueId、ncclCommInitRank、ncclCommInitAll的用法与拓扑感知。

初始化拓扑

NCCL环（Ring）算法

Ring AllReduce的原理、步骤拆解、带宽利用率分析。

NCCL树（Tree）算法

Double Binary Tree的原理、与Ring的对比、适用场景。

NCCL NVLink与PCIe路径

NVLink拓扑、PCIe Switch拓扑、跨节点通信路径选择。

NCCL IB/RoCE网络配置

InfiniBand与RoCEv2的差异、GID索引、MTU设置、PFC流控。

NCCL环境变量详解（上）

NCCL_DEBUG、NCCL_DEBUG_SUBSYS、NCCL_DEBUG_FILE、NCCL_DEBUG_WARN。

环境变量调试

NCCL环境变量详解（下）

NCCL_IB_DISABLE、NCCL_SOCKET_IFNAME、NCCL_NET_GDR_LEVEL、NCCL_P2P_DISABLE。

环境变量调优

NCCL性能基准测试工具

nccl-tests的编译、运行、参数解读（b、e、f、g、n、w）。

NCCL带宽压测实战

AllReduce带宽测试、不同数据量下的带宽曲线、如何判断是否达到理论峰值。

NCCL延迟压测实战

点对点延迟测试、AllReduce延迟测试、影响延迟的关键因素。

NCCL多机多卡压测

多节点配置、hostfile编写、MPI与NCCL的协同、跨节点带宽瓶颈分析。

NCCL Profiling基础

NCCL内置Profiling机制、NCCL_DEBUG=TRACE的日志解读。

Profiling日志

NCCL Profiling进阶 · Nsight Systems

使用Nsight Systems对NCCL进行Profiling、时间线分析、Kernel overlap观察。

Nsight时间线

NCCL Profiling进阶 · Nsight Compute

使用Nsight Compute分析NCCL Kernel、SM利用率、内存带宽瓶颈。

NCCL Profiling进阶 · DLProf/Merlin

使用DLProf/NVIDIA Merlin进行分布式Profiling、端到端训练性能分析。

NCCL通信计算重叠（Overlap）

异步通信、CUDA Stream与NCCL的协同、重叠策略与收益。

NCCL内存管理

用户Buffer与NCCL内部Buffer、注册内存、IPC与GDR、内存池优化。

NCCL故障排查（上）

初始化失败、通信超时、连接断开、版本不匹配的常见原因与解决方案。

NCCL故障排查（下）

带宽不达标、负载不均衡、死锁、OOM的排查思路与工具。

NCCL与PyTorch DDP集成

torch.distributed.init_process_group、NCCL后端配置、DDP性能调优。

NCCL与Horovod集成

Horovod的NCCL支持、hvd.allreduce、hvd.DistributedOptimizer的配置与调优。

NCCL与DeepSpeed集成

ZeRO优化器与NCCL的交互、通信量分析、ZeRO-3的通信优化。

NCCL与Megatron-LM集成

张量并行、流水线并行、数据并行中的NCCL通信模式与优化。

NCCL多线程与多进程

单进程多卡、多进程多卡、线程安全、NCCL_COMM_ID的共享策略。

多线程多进程

NCCL性能调优实战（上）

网络拓扑优化、NIC绑定、NUMA亲和性、CPU频率与内存带宽。

NCCL性能调优实战（下）

通信量裁剪、梯度压缩、梯度累积、通信调度策略。

NCCL最新特性与演进

NCCL 2.18+新特性、NCCL Net Plugin、NCCL Fast Socket、NCCL RDMA SHARP。

NCCL性能剖析综合案例

从零开始对一个8机64卡集群进行NCCL性能剖析、瓶颈定位、优化方案制定与效果验证。