VIP20
本课程属于：004-llama cpp AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多GPU负载均衡与CUDA部署教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
CUDA编程基础回顾
GPU架构 · CUDA核心概念 · 线程层次
CUDA编程基础回顾
02
多GPU架构
NVIDIA多GPU系统拓扑 · NVLink与PCIe · 统一虚拟地址空间
GPU架构
03
多GPU编程模型
单进程多设备管理 · 多进程模型 · CUDA Context与Devic…
GPU编程模型
04
CUDA流与异步操作
流的概念 · 默认流与非阻塞 · 事件同步
CUDA异步操作
05
显存管理与数据传输
动态分配 · 异构内存 · 页锁定内存
显存管理数据传输
06
数据并行与模型并行概念
数据并行原理 · 模型并行 · 混合并行
数据并行模型并行概念
07
负载均衡基础
负载定义 · 不平衡的原因 · 负载均衡目标
负载均衡基础负载定义
08
静态负载均衡策略
均匀分割 · 任务调度静态图 · 基于profile的划分
静态负载均衡策略均匀分割
09
动态负载均衡策略
工作窃取 · 任务队列 · 在线调度
动态负载均衡策略工作窃取
10
基于任务图的负载均衡
DAG任务图 · 依赖分析 · 拓扑序分配
基于任务图的负载…DAG
11
多GPU点对点通信
P2P访问 · Direct Access · CUDA P2P API
GPU点对点通信
12
NCCL通信库
NCCL安装 · 初始化 · 集合操作（AllReduce
NCCL通信库
13
集合通信优化
带宽利用率 · 环形算法 · 树形算法
集合通信优化带宽利用率
14
流水线并行
层级的划分 · 微批次 · 梯度累积
流水线并行层级的划分
15
张量并行
模型分割 · 矩阵乘法分片 · 通信与计算重叠
张量并行模型分割
16
混合并行策略
结合数据并行 · 张量并行 · 流水线并行的实战方案
混合并行策略结合数据并行
17
性能分析工具
NVIDIA Nsight Syst… · Nsight Compute · nvprof的使用
性能分析工具NVIDIA
18
性能瓶颈诊断
访存瓶颈 · 计算瓶颈 · 通信瓶颈
性能瓶颈诊断访存瓶颈
19
显存负载均衡
显存使用分析 · 显存碎片整理 · 显存交换
显存负载均衡显存使用分析
20
计算负载均衡
FLOPS利用率 · 动态分配计算任务
计算负载均衡FLOPS
21
自动负载均衡框架
Megatron-LM · DeepSpeed · FairSeq中的并行策略
自动负载均衡框架Megatron-LM
22
PyTorch多GPU编程
DataParallel · DistributedDataPar… · 自定义通信
PyTorchGPU
23
TensorFlow多GPU编程
MirroredStrategy · MultiWorkerMirrore…
TensorFlowGPU
24
自定义多GPU通信
CUDA编程手册中的Direct M… · IPC
GPU自定义多
25
多节点多GPU训练
Horovod框架 · MPI集成 · 跨节点通信
GPU多节点多
26
集群作业调度
Slurm配置 · GPU资源申请 · 任务分配脚本
集群作业调度Slurm
27
容器化部署
Docker中CUDA环境 · NVIDIA Container T… · Singularity
容器化部署Docker
28
运维监控与弹性扩缩
GPU监控指标 · 自动扩缩容 · 故障恢复
运维监控弹性扩缩
29
典型案例
大型语言模型LLM的分布式训练负载均…
典型案例LLM
30
总结与展望
多GPU负载均衡趋势 · CUDA技术更新 · 实践经验分享
GPU负载均衡趋势