01
多卡通信概述
为什么需要多卡通信 · 典型场景（分布式训练、模型并行）· 通信瓶颈与挑战
基础概念
02
硬件基础
PCIe总线拓扑与带宽 · NVLink/NVSwitch · InfiniBand vs RoCEv2
硬件拓扑
03
驱动栈全景
GPU驱动 · 网卡驱动 · 内核态与用户态通信路径
驱动架构
04
NVIDIA驱动安装与配置
驱动版本选择 · CUDA Toolkit兼容性 · nvidia-smi topo -m解读
NVIDIA安装
05
Mellanox网卡驱动安装
MLNX_OFED驱动 · ibstat/ibstatus · opensmd子网管理器
MellanoxIB
06
RoCE网卡驱动配置
RoCE模式切换 · PFC/ECN流控 · roce_lag链路聚合
RoCE流控
07
GPU Direct技术栈
GPU Direct P2P · GPU Direct RDMA · GDRCopy库
GPU DirectRDMA
08
NCCL库原理与安装
Ring/Tree算法 · 拓扑感知 · 环境变量详解
NCCL集合通信
09
MPI通信库适配
OpenMPI/MVAPICH2 · UCX传输层 · MPI与NCCL混合
MPIUCX
10
通信性能基准测试
nccl-tests编译 · allreduce带宽 · ib_write_bw延迟
基准测试性能
11
性能调优方法论
带宽与延迟权衡 · 通信计算重叠 · 微基准与端到端分析
方法论调优
12
拓扑感知优化
NVLink拓扑解析 · 环形/树形选择 · NCCL_TOPO_FILE
拓扑NCCL
13
网络流控调优
DCQCN拥塞控制 · ECN标记阈值 · PFC死锁避免
流控DCQCN
14
PCIe调优
PCIe Gen速率/宽度 · Resizable BAR · ACS关闭
PCIeBAR
15
NUMA亲和性优化
CPU与GPU NUMA绑定 · numactl · NCCL_NET_SHM_DISABLE
NUMA亲和性
16
内核参数调优
网络缓冲区(rmem/wmem) · TCP bbr · IRQ亲和性
内核TCP
17
NCCL环境变量调优
NCCL_ALGO/PROTO/BUFFSIZE/NTHREADS 实战调参
NCCL环境变量
18
多节点通信调优
跨机延迟优化 · NCCL_IB_TIMEOUT/RETRY_CNT · RoCE+IB混合
多节点IB
19
通信与计算重叠
异步通信API · CUDA Stream/Event · 双缓冲技术
重叠异步
20
通信故障排查
NCCL报错码 · ibdiagnet诊断 · PCIe链路错误检测
故障诊断
21
驱动日志与调试
NVIDIA驱动日志 · Mellanox syslog · ftrace/perf动态跟踪
调试日志
22
容器化环境适配
Docker GPU直通 · K8s device plugin · NCCL_SOCKET_IFNAME
容器K8s
23
虚拟化环境适配
SR-IOV网卡虚拟化 · vGPU/MIG分区 · 性能损失分析
虚拟化SR-IOV
24
国产AI加速卡适配
华为昇腾HCCS · 寒武纪CNCL · 百度昆仑芯通信栈
国产昇腾
25
多卡通信安全
通信加密(TLS/SSL) · 用户态驱动隔离 · RDMA白名单
安全加密
26
大规模集群通信
Dragonfly/3D-Torus · Alltoall/Allgather · 通信调度策略
集群大规模
27
通信Profiling工具
Nsight Systems · NCCL Profiling Hook · 自定义Trace
ProfilingNsight
28
自动调优工具
NCCL AutoTune · HPC Autotuning · 机器学习参数搜索
自动调优ML
29
生产环境最佳实践
监控告警(Prometheus+Grafana) · 热点分析 · 灰度升级驱动
生产监控
30
未来趋势
CXL互联 · 光互连(Silicon Photonics) · 通信与计算融合
趋势CXL