第1章
GPU通信基础
GPU通信概述 · PCIe与NVLink对比 · 通信拓扑与带宽瓶颈分析
带宽拓扑
第2章
NCCL库入门
NCCL架构与原理 · 安装与配置 · 基本API使用
NCCLAPI
第3章
集合通信原语
AllReduce原理与实现 · AllGather与ReduceScatter · Broadcast与Gather
原语AllReduce
第4章
通信拓扑优化
环形拓扑与树形拓扑 · 双树算法与递归加倍 · 拓扑感知调度
拓扑调度
第5章
带宽与延迟优化
带宽利用率分析 · 延迟隐藏技术 · 异步通信与计算重叠
延迟异步
第6章
通信计算重叠
Stream与Event机制 · 多流并发调度 · 重叠策略与性能模型
重叠CUDA
第7章
通信调度策略
静态调度与动态调度 · 基于优先级的调度 · 自适应调度算法
调度自适应
第8章
网络协议优化
RDMA与RoCEv2对比 · 拥塞控制算法 · 网络参数调优
RDMARoCE
第9章
多节点通信
跨节点通信挑战 · InfiniBand与以太网 · 多节点拓扑设计
多节点InfiniBand
第10章
通信库对比
NCCL vs GLOO vs MPI · 适用场景 · 性能基准测试
对比MPI
第11章
通信与内存管理
显存分配策略 · 通信缓冲区管理 · 零拷贝通信技术
显存零拷贝
第12章
混合精度通信
FP16与BF16通信 · 梯度压缩技术 · 量化通信方法
混合精度量化
第13章
通信故障处理
超时与重试机制 · 故障检测与恢复 · 容错通信设计
容错重试
第14章
通信性能分析工具
NCCL性能分析器 · nsys与ncu使用 · 通信热点分析
nsysNCCL
第15章
通信Profiling
NCCL的Trace机制 · 通信事件分析 · 性能瓶颈定位
ProfilingTrace
第16章
通信调优案例
大模型训练通信优化 · 数据并行通信调优 · 模型并行通信优化
调优大模型
第17章
通信与分布式训练
数据并行通信模式 · 模型并行通信模式 · 流水线并行通信
分布式流水线
第18章
通信与混合并行
3D并行通信设计 · ZeRO优化器通信 · 通信与计算平衡
3D并行ZeRO
第19章
通信与数据加载
数据加载通信优化 · 分布式数据加载器 · 数据预处理通信
数据加载预处理
第20章
通信与梯度累积
梯度累积通信策略 · 梯度同步优化 · 通信频率控制
梯度累积同步
第21章
通信与模型保存
分布式检查点通信 · 模型保存通信优化 · 异步保存策略
检查点保存
第22章
通信与资源调度
GPU资源分配与通信 · 网络带宽分配 · 多任务通信隔离
资源隔离
第23章
通信与虚拟化
GPU虚拟化通信 · 容器网络通信 · 多租户通信隔离
虚拟化容器
第24章
通信与自动调优
自动通信调优框架 · 基于机器学习的调优 · 自适应通信策略
自动调优ML
第25章
通信与硬件协同
GPU架构与通信 · 交换机与路由器配置 · 光互联技术
硬件光互联
第26章
通信与能耗优化
通信能耗模型 · 低功耗通信技术 · 绿色通信策略
能耗绿色
第27章
通信与安全
通信加密技术 · 安全通信协议 · 隐私保护通信
安全加密
第28章
通信与可观测性
通信监控指标 · 可视化通信工具 · 通信日志分析
监控可观测
第29章
通信与未来趋势
CXL与内存语义通信 · 光子通信技术 · 量子通信展望
CXL量子
第30章
综合实战
搭建多卡通信集群 · 端到端通信优化 · 性能验证与调优报告
实战集群