01
NCCL基础与显存模型
NCCL通信原语、Ring AllReduce原理、显存分配模型、通信缓冲区机制
原语Ring缓冲区
02
显存溢出根因分析
通信缓冲区过大、梯度累积未释放、中间激活值堆积、PyTorch缓存分配器碎片化
OOM梯度累积碎片
03
NCCL环境变量调优
NCCL_ALGO、NCCL_PROTO、NCCL_BUFFSIZE、NCCL_NTHREADS、NCCL_IB_DISABLE等关键变量详解
环境变量调优
04
梯度检查点与显存复用
Checkpointing原理、梯度累积策略、显存池复用、inplace操作技巧
Checkpoint显存池
05
多卡同步优化
同步策略对比（SyncBN、梯度累积、异步AllReduce）、通信与计算重叠、负载均衡
SyncBN重叠负载均衡
06
NCCL错误排查
超时问题、初始化失败、通信链路异常、版本兼容性
超时初始化链路
07
显存监控与Profiling
nvidia-smi、torch.cuda.memory_summary、Nsight Systems、NCCL debug日志
监控ProfilingNsight
08
混合精度训练与NCCL
AMP原理、FP16梯度通信、Loss Scaling、Master Weights管理
AMPFP16Loss Scaling
09
通信拓扑优化
环形拓扑、树形拓扑、双环拓扑、拓扑感知分配
拓扑RingTree
10
大模型分布式策略
FSDP、DeepSpeed ZeRO、张量并行、流水线并行与NCCL的交互
FSDPZeRO张量并行
11
NCCL与PyTorch DDP集成
DDP原理、梯度桶机制、通信钩子、自定义AllReduce
DDP梯度桶钩子
12
显存碎片化治理
缓存分配器调优、预分配策略、显存压缩、碎片整理
碎片预分配压缩
13
通信带宽优化
NVLink、InfiniBand、RoCE、网卡绑定、多路径路由
NVLinkIBRoCE
14
梯度压缩与量化
梯度稀疏化、TopK压缩、量化通信、误差反馈机制
稀疏化TopK量化
15
异步执行与流水线
CUDA Stream管理、事件同步、通信与计算流水线、多流并发
Stream流水线并发
16
NCCL故障恢复
超时重试、链路重建、断点续训、弹性训练
容错断点续训弹性
17
显存溢出案例实战
Batch Size过大、序列长度不均、Embedding表过大、Attention中间变量
实战OOM案例
18
多机多卡网络调优
TCP/IP调优、RDMA配置、网卡亲和性、跨机通信延迟
RDMA多机延迟
19
NCCL版本与CUDA兼容性
版本演进、CUDA Toolkit匹配、动态库冲突、源码编译
版本CUDA兼容
20
显存与通信的权衡
通信粒度选择、同步频率控制、显存-通信帕累托前沿
权衡帕累托
21
NCCL集合操作详解
AllReduce、AllGather、ReduceScatter、Broadcast、Barrier
集合通信AllReduce
22
自定义通信内核
NCCL插件机制、自定义AllReduce、通信算子融合
插件融合
23
显存泄漏检测
引用循环、未释放张量、缓存未清理、钩子泄漏
泄漏检测
24
多任务并发通信
通信优先级、带宽分配、任务隔离、共享通信组
并发优先级
25
NCCL安全与权限
用户权限、容器环境、SELinux、防火墙规则
安全容器SELinux
26
显存溢出自动缓解
OOM自动回退、动态Batch Size、梯度累积自适应、显存预警
自动缓解动态Batch
27
NCCL与GPU虚拟化
MIG、vGPU、GPU分区、显存隔离
MIGvGPU隔离
28
通信延迟隐藏
预取、预通信、计算-通信重叠度分析、延迟测量
延迟隐藏预取
29
大规模集群部署
集群拓扑设计、网络架构、作业调度、NCCL参数模板
集群调度模板
30
未来趋势与前沿
NVLink4/5、CXL互联、可编程交换机、NCCL下一代架构
NVLink4CXL下一代