VIP20

本课程属于：024-英伟达技术 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

分布式训练多GPU并行计算原理精讲

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程大纲 · 预备知识

课程导入学习目标

并行计算基础

并行计算概念 · Flynn分类法 · 并行编程模型

并行计算基础并行计算概念

GPU架构与CUDA基础

GPU硬件架构 · CUDA编程模型 · 内存层次

多GPU并行策略

数据并行 · 模型并行 · 流水线并行

GPU并行策略

数据并行原理

数据切分 · 梯度同步 · 参数更新

数据并行原理数据切分

模型并行原理

层间并行 · 张量并行 · 序列并行

模型并行原理层间并行

流水线并行原理

微批次划分 · 流水线调度 · 气泡优化

流水线并行原理微批次划分

混合并行策略

3D并行 · ZeRO优化器 · DeepSpeed

混合并行策略3D并行

通信原语与集合通信

点对点通信 · 集体通信（AllReduce · AllGather等）

通信原语集合通信

通信拓扑与网络架构

NVLink · InfiniBand · 以太网

通信拓扑网络架构

同步与异步训练

同步SGD · 异步SGD · 延迟与收敛性

同步异步训练

梯度压缩与量化

梯度压缩 · 量化 · 低精度训练

梯度压缩量化

分布式训练框架

Horovod · PyTorch DDP · TensorFlow Mirrore…

分布式训练框架Horovod

PyTorch DDP实战

DDP原理 · 使用步骤 · 代码示例

Horovod架构 · 使用步骤 · 代码示例

DeepSpeed实战

ZeRO · 流水线并行 · 混合精度训练

Megatron-LM实战

张量并行 · 模型并行 · 大规模语言模型训练

Megatron-LM张量并行

分布式训练中的性能分析

吞吐量 · 扩展效率 · 瓶颈分析

分布式训练性能分析

分布式训练中的故障恢复

检查点 · 弹性训练 · 容错机制

分布式训练故障恢复

分布式训练中的超参数调优

学习率调度 · 批量大小 · 通信优化

分布式训练超参数调优

大规模模型训练案例

GPT-3 · BERT · ResNet等

大规模模型训练案…GPT-3

分布式训练中的常见问题

通信瓶颈 · 负载不均 · 梯度不一致

分布式训练常见问题

分布式训练中的调试与优化工具

NVIDIA Nsight · PyTorch Profiler

分布式训练调试

分布式训练在云环境中的实践

AWS · GCP · 阿里云

分布式训练云环境

分布式训练与AutoML

超参数搜索 · 架构搜索

AutoML分布式训练

分布式训练与强化学习

分布式RL · A3C · IMPALA

分布式训练强化学习

分布式训练与图神经网络

大规模图训练 · 分布式图处理

分布式训练图神经网络

分布式训练与推荐系统

大规模稀疏模型训练

分布式训练推荐系统

分布式训练的未来趋势

异构计算 · 联邦学习 · 边缘计算

分布式训练的未来…异构计算

综合实战项目

从零搭建多GPU训练系统并优化性能

综合实战项目GPU