VIP20

本课程属于：002-NCCL多卡通信 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NCCL驱动适配与集群部署实战

📚 共计 30 章节

NCCL是什么 · 发展历程 · 分布式训练核心 · vs MPI/GLOO

NCCL核心概念

通信域Comm · AllReduce/AllGather · 同步异步

通信集合操作

NCCL架构解析

层次结构 · NVLink/PCIe/IB/RoCE · 拓扑感知

架构传输层

NCCL驱动适配基础

GPU驱动与CUDA版本 · 兼容性矩阵 · 环境检查

NVIDIA驱动安装

runfile/deb/rpm · nvidia-smi · 问题排查

CUDA Toolkit安装

下载安装 · PATH/LD_LIBRARY_PATH · nvcc验证

CUDA环境变量

apt/yum/tar包 · 安装步骤 · nccl-tests验证

NCCL环境变量详解

NCCL_DEBUG · IB_HCA · SOCKET_IFNAME · GDR_LEVEL

NCCL通信后端选择

NVLink/IB/RoCE/Socket · 适用场景与性能对比

单机多卡环境搭建

硬件要求 · NVLink拓扑 · nvidia-smi topo -m

多机集群网络规划

网络架构 · IB vs RoCE vs 以太网 · 带宽延迟

InfiniBand网络配置

MLNX_OFED驱动 · ibstatus · 子网管理器

RoCE网络配置

驱动安装 · DCQCN/PFC · 性能调优

SSH免密与主机名解析

SSH密钥 · /etc/hosts · 连通性验证

NFS共享存储配置

服务端/客户端 · 挂载 · 权限管理

NCCL集群部署全流程

裸机到集群 · 部署脚本 · Ansible自动化

部署自动化

NCCL测试工具集

nccl-tests · all_reduce_perf · 结果解读

NCCL性能调优

Ring/Tree/NVLS算法 · Buffer大小 · 并行度

NCCL拓扑检测与优化

topo.xml · 自定义拓扑 · NUMA亲和性

NCCL故障排查

错误码解析 · 超时处理 · 丢包排查 · 日志

NCCL与深度学习框架集成

PyTorch · TensorFlow · Horovod

NCCL多进程与多线程

多进程通信 · 通信域共享 · 线程安全

并发多进程

NCCL与GPU虚拟化

Docker · NVIDIA Container Toolkit · Kubernetes

NCCL安全与权限

通信加密 · 用户权限 · 访问控制

NCCL监控与可视化

dcgm · nvidia-smi · NCCL Profiler · 日志聚合

监控可视化

NCCL版本升级与回滚

升级步骤 · 兼容性检查 · 回滚方案

大规模集群部署经验

千卡/万卡 · 网络拓扑 · 故障域 · 容错

大规模实战

NCCL与高速存储

GPUDirect Storage · Lustre · GPFS

NCCL未来演进

2.x vs 3.x · Grace Hopper · NVLink Switch

综合实战：8节点64卡集群

从零搭建 · 全流程调优 · 基准测试报告