VIP20

本课程属于：015-NCCL AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA显存管理与NCCL协同优化实战

📚 共计 30 章节

CUDA内存架构全景

全局内存、共享内存、寄存器、本地内存、常量内存、纹理内存的层级结构与访问延迟对比。

全局内存高效访问

合并访问(Coalesced Access)原理、对齐要求、跨步访问优化、cudaMallocPitch与cudaMemcpy2D。

合并访问对齐

共享内存与Bank Conflict

共享内存Bank组织方式、Bank Conflict产生与消除、Padding技巧、动态共享内存分配。

寄存器与Occupancy

寄存器压力对Occupancy的影响、__launch_bounds__限制线程块、寄存器溢出检测与优化。

Occupancy寄存器溢出

常量内存与纹理内存

常量内存广播机制与使用场景、纹理内存缓存特性与插值功能、Surface Memory简介。

CUDA流与异步操作

CUDA Stream概念、默认流与非默认流、Stream创建与销毁、异步内存拷贝与Kernel执行重叠。

事件(Event)与同步

CUDA Event创建与使用、Stream间同步、Event时间测量、cudaStreamSynchronize与cudaDeviceSynchronize。

CUDA内存池(MemPool)

cudaMemPool创建与配置、释放阈值设置、池内地址重用、多设备共享内存池。

MemPool地址重用

统一内存(Unified Memory)

UM页错误机制、cudaMallocManaged使用、Prefetching与Advise优化、多GPU UM行为。

CUDA图形互操作

OpenGL/CUDA互操作、Vulkan/CUDA互操作、图形资源注册与映射、Mipmap纹理CUDA访问。

互操作Mipmap

NCCL通信原语

AllReduce、AllGather、ReduceScatter、Broadcast语义与适用场景、Ring与Tree算法。

NCCL初始化与拓扑检测

ncclCommInitAll与ncclCommInitRank、ncclGetUniqueId、拓扑检测与NVLink/NVSwitch拓扑感知。

NCCL通信器管理

通信器创建与销毁、多通信器并行、ncclCommSplit与子通信器、通信器故障恢复。

CommunicatorSplit

NCCL点对点通信

ncclSend与ncclRecv使用、异步点对点通信、自定义通信模式、与MPI点对点对比。

NCCL集合通信性能调优

ncclAllReduce带宽利用率、ncclGroupStart/End批量提交、ncclBroadcast优化策略。

NCCL与CUDA Stream绑定

ncclCommStream与用户Stream关系、ncclGroupStart内Stream管理、避免Stream死锁。

Stream绑定死锁

NCCL多节点通信

InfiniBand/RoCE网络配置、GDR(GPU Direct RDMA)原理、多节点AllReduce性能模型。

NCCL用户缓冲区注册

ncclMemAlloc与ncclMemFree、注册内存带宽优势、动态注册与池化管理。

NCCL错误处理与调试

ncclResult_t错误码、ncclGetErrorString、NCCL_DEBUG环境变量、NCCL_DEBUG_SUBSYS与NCCL_DEBUG_FILE。

NCCL与CUDA Graph集成

CUDA Graph捕获NCCL操作、Graph可重放性、Graph与NCCL通信器生命周期管理。

CUDA Graph重放

显存碎片化问题

显存碎片产生原因、cudaMalloc碎片化、cudaMallocAsync与流序分配、碎片整理策略。

碎片流序分配

显存监控与Profiling

nvidia-smi显存监控、Nsight Systems显存轨迹、自定义显存分配器Hook、显存泄漏检测。

监控Profiling

显存与通信协同调度

计算与通信重叠流水线设计、Double Buffering技术、CUDA Events控制通信时机。

协同Double Buffer

多GPU显存均衡

数据并行显存负载均衡、模型并行显存分片、ZeRO优化器显存管理、张量并行显存策略。

显存交换与Offloading

CPU-GPU显存交换、cudaMemcpyAsync交换、NVMe Offloading技术、InfiniBand显存交换。

NCCL All-to-All通信

All-to-All语义与实现、NCCL优化、与AllGather性能对比、在MoE模型中的应用。

NCCL与NVLink/NVSwitch

NVLink拓扑结构、NVSwitch全连接架构、NCCL的NVLink感知路由、多NVSwitch域通信。

NCCL与CUDA MPS

MPS的CUDA上下文共享、MPS与NCCL兼容性、MPS显存限制与隔离。

MPS上下文共享

大规模集群通信优化

全局通信调度、通信计算重叠Wizardry、梯度压缩与NCCL结合、异步AllReduce与同步Barrier。

集群梯度压缩

综合实战：LLM训练显存与通信优化

LLM训练显存分析、3D并行NCCL通信模式、Megatron-LM与DeepSpeed NCCL配置、端到端调优案例。