01
通信基础：硬件拓扑与通信原语
NVLink、PCIe、InfiniBand；AllReduce、AllGather、ReduceScatter 原理与性能特征
硬件原语
02
通信算子分析：NCCL 与重叠模型
NCCL API 使用与性能剖析，计算与通信重叠模型
NCCL重叠
03
算子融合策略：动机与模式
融合动机与收益分析，AllReduce 与计算 Kernel 融合等常见模式
融合Kernel
04
实战：PyTorch AllReduce 融合
torch.distributed 实现 AllReduce 融合，对比吞吐与带宽利用率
PyTorch实战
05
高级优化：异步调度与通信隐藏
计算与通信异步调度、流水线并行通信隐藏、Ring AllReduce 拓扑感知
异步流水线
06
性能调优：nsys/ncu 与数据分片
使用 nsys/ncu 分析瓶颈，调整通信粒度与数据分片策略
调优nsys
07
前沿探索：异构与可微分通信
GPU+DPU 异构融合、可微分通信调度、自动编译器技术
前沿DPU
08
总结与展望：工程实践与趋势
多卡通信算子融合的工程实践要点与未来趋势
总结趋势
09
附录：NCCL 环境变量与基准脚本
常用 NCCL 环境变量调优指南、通信算子性能基准测试脚本
附录NCCL
10
课程项目：MoE 通信融合方案
针对 MoE 模型设计 All-to-All 与 AllReduce 联合优化
项目MoE
11
通信基础：硬件拓扑与通信原语
NVLink、PCIe、InfiniBand；AllReduce、AllGather、ReduceScatter 原理与性能特征
硬件原语
12
通信算子分析：NCCL 与重叠模型
NCCL API 使用与性能剖析，计算与通信重叠模型
NCCL重叠
13
算子融合策略：动机与模式
融合动机与收益分析，AllReduce 与计算 Kernel 融合等常见模式
融合Kernel
14
实战：PyTorch AllReduce 融合
torch.distributed 实现 AllReduce 融合，对比吞吐与带宽利用率
PyTorch实战
15
高级优化：异步调度与通信隐藏
计算与通信异步调度、流水线并行通信隐藏、Ring AllReduce 拓扑感知
异步流水线
16
性能调优：nsys/ncu 与数据分片
使用 nsys/ncu 分析瓶颈，调整通信粒度与数据分片策略
调优nsys
17
前沿探索：异构与可微分通信
GPU+DPU 异构融合、可微分通信调度、自动编译器技术
前沿DPU
18
总结与展望：工程实践与趋势
多卡通信算子融合的工程实践要点与未来趋势
总结趋势
19
附录：NCCL 环境变量与基准脚本
常用 NCCL 环境变量调优指南、通信算子性能基准测试脚本
附录NCCL
20
课程项目：MoE 通信融合方案
针对 MoE 模型设计 All-to-All 与 AllReduce 联合优化
项目MoE
21
通信基础：硬件拓扑与通信原语
NVLink、PCIe、InfiniBand；AllReduce、AllGather、ReduceScatter 原理与性能特征
硬件原语
22
通信算子分析：NCCL 与重叠模型
NCCL API 使用与性能剖析，计算与通信重叠模型
NCCL重叠
23
算子融合策略：动机与模式
融合动机与收益分析，AllReduce 与计算 Kernel 融合等常见模式
融合Kernel
24
实战：PyTorch AllReduce 融合
torch.distributed 实现 AllReduce 融合，对比吞吐与带宽利用率
PyTorch实战
25
高级优化：异步调度与通信隐藏
计算与通信异步调度、流水线并行通信隐藏、Ring AllReduce 拓扑感知
异步流水线
26
性能调优：nsys/ncu 与数据分片
使用 nsys/ncu 分析瓶颈，调整通信粒度与数据分片策略
调优nsys
27
前沿探索：异构与可微分通信
GPU+DPU 异构融合、可微分通信调度、自动编译器技术
前沿DPU
28
总结与展望：工程实践与趋势
多卡通信算子融合的工程实践要点与未来趋势
总结趋势
29
附录：NCCL 环境变量与基准脚本
常用 NCCL 环境变量调优指南、通信算子性能基准测试脚本
附录NCCL
30
课程项目：MoE 通信融合方案
针对 MoE 模型设计 All-to-All 与 AllReduce 联合优化
项目MoE