VIP20

本课程属于：002-NCCL多卡通信 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NCCL任务调度与GPU调度实战

📚 共计 30 章节

什么是NCCL · 分布式训练角色 · NCCL vs MPI vs GLOO

NCCL核心概念

通信域Comm · Rank · World Size · AllReduce/AllGather

通信模式原语

NCCL安装与配置

源码编译 · CUDA兼容性 · nccl-tests验证

ncclCommInitAll · ncclCommInitRank · 多进程策略

初始化多进程

NCCL通信原语 (上)

ncclAllReduce · ncclBroadcast 原理与实现

AllReduceBroadcast

NCCL通信原语 (下)

ncclReduce · ncclAllGather · ncclReduceScatter

集合通信原语

NCCL点对点通信

ncclSend/ncclRecv · 同步与异步模式

NCCL分组通信

ncclGroupStart/End · 批量操作优化

分组批处理

NCCL流与同步

CUDA Stream绑定 · Group与流 · ncclSynchronize

CUDA Stream同步

NCCL错误处理

错误码解读 · ncclGetErrorString · 异常恢复

NCCL拓扑感知

NVLink拓扑 · Ring拓扑 · Tree拓扑

NCCL算法选择

Ring AllReduce · Tree AllReduce · NVLink Direct

算法AllReduce

NCCL性能调优 (上)

带宽测试 · 延迟测试 · nccl-tests高级用法

NCCL性能调优 (下)

NCCL_ALGO · NCCL_PROTO · NCCL_NTHREADS

环境变量调优

NCCL与PyTorch集成

torch.distributed后端 · DDP · HuggingFace Trainer

NCCL与TensorFlow集成

tf.distribute.NcclAllReduce · MirroredStrategy

TensorFlow分布式

NCCL与JAX集成

pmap与NCCL · pjit与NCCL

GPU调度基础

GPU架构 · CUDA Context · 内存管理

GPU调度策略

时间片调度 · 优先级调度 · MIG多实例

GPU资源隔离

cgroup · CUDA_VISIBLE_DEVICES · MPS控制

GPU调度器实现 (上)

任务队列设计 · GPU资源抽象

调度器实现

GPU调度器实现 (下)

抢占策略 · 公平调度 · 优先级反转处理

NCCL与GPU调度结合

通信与计算重叠 · 多任务NCCL隔离

NCCL多节点通信

InfiniBand · RoCE · GPUDirect RDMA

NCCL故障诊断

超时排查 · NCCL_DEBUG · NCCL_DEBUG_SUBSYS

NCCL安全与权限

多租户隔离 · 通信加密 · 认证机制

NCCL高级特性

NCCL_NET插件 · NCCL_COLLNET · NCCL_TOPO_DUMP

GPU集群调度实战

Slurm与NCCL · Kubernetes与GPU调度

NCCL性能基准测试

MLPerf基准 · 实际训练任务调优案例

NCCL未来趋势

NCCL 2.x vs 3.x · NVLink 5.0 · CXL与GPU互联