01
NCCL概述
NCCL是什么 · 核心价值 · 在分布式训练中的位置
基础概念
02
NCCL通信原语
AllReduce · AllGather · ReduceScatter · Broadcast 原理与对比
通信原语
03
NCCL拓扑感知
环形 · 树形 · 全连接拓扑的优缺点分析
拓扑架构
04
NCCL任务调度模型
任务队列 · 工作线程池 · 调度器设计思想
调度模型
05
NCCL负载均衡基础
什么是负载均衡 · 为什么需要 · 挑战
均衡基础
06
NCCL静态调度策略
轮询 · 随机 · 哈希调度实现与适用场景
静态策略
07
NCCL动态调度策略
基于负载反馈 · 基于历史数据的预测调度
动态反馈
08
NCCL优先级调度
任务优先级定义 · 优先级队列 · 优先级反转
优先级队列
09
NCCL资源感知调度
CPU绑定 · 内存亲和性 · NUMA感知调度
资源NUMA
10
NCCL带宽感知调度
链路带宽测量 · 分配策略 · 带宽争用处理
带宽测量
11
NCCL延迟优化调度
延迟敏感任务识别 · 预算分配 · 延迟与吞吐权衡
延迟优化
12
NCCL多流调度
CUDA Stream概念 · 多流并行 · 流间同步与依赖
多流CUDA
13
NCCL任务依赖图
DAG构建 · 依赖解析 · 拓扑排序调度
DAG依赖
14
NCCL任务切分与合并
大任务拆分 · 小任务合并 · 粒度控制策略
切分合并
15
NCCL抢占式调度
任务抢占机制 · 上下文切换开销 · 抢占策略设计
抢占策略
16
NCCL负载均衡算法
最小连接数 · 加权最小连接 · 动态反馈算法
算法均衡
17
NCCL一致性哈希调度
一致性哈希原理 · 虚拟节点 · 动态扩缩容
哈希扩缩容
18
NCCL两阶段调度
全局调度与本地调度 · 调度层级设计
两阶段层级
19
NCCL调度器架构
集中式 · 分布式 · 混合调度器
架构调度器
20
NCCL调度策略配置
环境变量 · 配置文件 · 运行时动态调整
配置动态
21
NCCL调度监控
性能计数器 · 日志采集 · 实时监控面板
监控可观测
22
NCCL调度调优
基准测试 · 瓶颈分析 · 参数调优方法论
调优性能
23
NCCL与GPU Direct
GPU Direct P2P · RDMA · 调度协同
GPU DirectP2P
24
NCCL与NVLink
NVLink拓扑感知 · 带宽利用 · 调度优化
NVLink拓扑
25
NCCL与InfiniBand
IB网络拓扑 · RC/UD传输模式 · 调度适配
InfiniBandIB
26
NCCL与RoCE
RoCE v2特性 · 拥塞控制 · 调度策略调整
RoCE拥塞
27
NCCL多节点调度
跨节点通信模式 · 节点间负载均衡 · 全局策略
多节点跨节点
28
NCCL故障恢复调度
节点故障检测 · 任务迁移 · 状态恢复机制
故障恢复
29
NCCL调度案例分析
GPT-3训练调度 · MoE模型调度 · 混合并行调度
案例实战
30
NCCL调度未来趋势
自适应调度 · AI驱动调度 · 异构计算调度
趋势前沿