VIP20

本课程属于：020-多卡通信 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

多卡通信算子融合与显存协同

📚 共计 30 章节

多卡通信基础

分布式训练背景、通信原语（AllReduce、AllGather、ReduceScatter）、同步与异步通信模式。

原语同步/异步

通信算子融合原理

算子融合动机、融合策略（水平融合、垂直融合）、融合对带宽利用率的影响。

水平融合垂直融合

显存协同机制

显存层次结构（HBM、L2 Cache、寄存器）、显存池化管理、计算与通信重叠技术。

通信与计算流水线

流水线并行原理、微批次调度、气泡（Bubble）分析与优化。

流水线气泡

混合并行策略

数据并行、模型并行、流水线并行、张量并行的组合使用与显存权衡。

数据并行张量并行

通信拓扑优化

Ring AllReduce、Tree AllReduce、Hierarchical AllReduce、NVLink与InfiniBand拓扑感知。

显存优化技术

ZeRO系列（ZeRO-1/2/3）、激活值重计算、显存碎片整理、Offload技术。

通信库深度解析

NCCL核心原理、通信组管理、P2P与Collective通信、NCCL性能调优参数。

算子融合实战

Fused Adam、Fused LayerNorm、QKV融合、FlashAttention中的融合思想。

FusedFlashAttention

显存Profiling工具

Nsight Systems、PyTorch Memory Profiler、自定义Hook监控显存。

通信Profiling与瓶颈分析

通信耗时分解、带宽利用率计算、拓扑瓶颈定位。

自动混合精度（AMP）与显存

FP16/BF16训练、Loss Scaling、梯度缩放对通信的影响。

梯度累积与通信频率

梯度累积原理、通信步长调整、通信量与模型精度的权衡。

梯度累积步长

异步执行与事件管理

CUDA Stream、Event同步、多Stream并发通信与计算。

显存与通信的联合调度

计算图优化、显存预分配、通信调度策略。

调度预分配

大规模模型训练案例

GPT/BERT训练中的通信模式、显存占用分析、实际调优经验。

通信容错与弹性训练

节点故障检测、通信超时处理、Checkpoint与Restore机制。

容错Checkpoint

显存压缩技术

梯度压缩（Top-K、Quantization）、激活值压缩、通信量减少策略。

异构计算与显存协同

CPU-GPU统一内存、NVLink桥接多GPU、跨节点通信优化。

统一内存NVLink

通信算子自动融合框架

XLA、Triton、TVM中的融合Pass、自定义融合规则编写。

显存与通信的数学建模

Roofline模型、通信计算比、最优并行度推导。

Roofline并行度

分布式训练框架对比

DeepSpeed、Megatron-LM、FairScale、ColossalAI的显存与通信设计。

DeepSpeedMegatron

通信与显存的硬件视角

GPU架构演进（Volta→Hopper）、NVSwitch、HBM带宽对融合的影响。

动态显存管理

显存池、显存复用、显存分配器优化（Caching Allocator）。

显存池Caching

通信调度策略优化

拓扑感知调度、通信优先级、带宽分配策略。

拓扑感知优先级

显存与通信的协同模拟

模拟器设计、性能预测、瓶颈分析工具。

模拟器预测

多节点通信优化

RDMA、RoCEv2、GDR（GPUDirect RDMA）原理与配置。

通信与显存的自动化调优

贝叶斯优化、强化学习在通信参数搜索中的应用。

贝叶斯强化学习

前沿技术趋势

NVLink 4.0、CXL互连、存算一体架构对通信融合的影响。

CXL存算一体

综合实战项目

从零构建多卡通信算子融合与显存协同系统，包含Profiling、融合策略、调度优化全流程。

实战全流程