所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

多机多卡训练部署与性能调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
分布式训练基础
数据并行 · 模型并行 · 流水线并行
分布式训练基础数据并行
03
多机多卡硬件与网络架构
GPU · NVLink · InfiniBand
多机多卡硬件网络架构
04
分布式训练框架选型
PyTorch DDP · Horovod · DeepSpeed
分布式训练框架选…PyTorch
05
环境搭建与集群配置
操作系统 · 驱动 · CUDA
环境搭建集群配置
06
NCCL 通信库深入
NCCL 原理 · 通信模式（AllReduce · AllGather
NCCL通信库深入
07
数据加载与预处理优化
DataLoader 多进程 · 数据缓存 · TFRecord/WebDatase…
数据加载预处理优化
08
模型定义与并行化改造
将单机单卡模型改造为多机多卡训练 · 处理 BatchNorm · 随机种子
模型定义并行化改造
09
同步训练与异步训练
同步 SGD · 异步 SGD · 梯度压缩
同步训练异步训练
10
梯度累积与混合精度训练
梯度累积原理 · AMP（自动混合精度） · 损失缩放
梯度累积混合精度训练
11
学习率调度与优化器调优
学习率预热 · 余弦退火 · 分层学习率
学习率调度优化器调优
12
分布式训练中的模型保存与加载
checkpoint 策略 · 断点续训 · 模型并行下的参数映射与转换
分布式训练模型保存
13
性能监控与基准测试
使用 nvidia-smi · NCCL 测试 · TensorBoard
性能监控基准测试
14
网络通信优化
调整网络缓冲区 · 使用 RDMA · 减少通信频率
网络通信优化调整网络缓冲区
15
计算与通信重叠
流水线调度 · 异步通信 · 梯度计算与通信重叠的工程实现
计算通信重叠
16
多机多卡训练中的负载均衡
数据切分 · 动态批大小 · 任务调度
多机多卡训练负载均衡
17
大规模训练稳定性
数值稳定性 · 梯度爆炸/消失 · 超参数敏感性
大规模训练稳定性数值稳定性
18
故障恢复与容错机制
节点故障检测 · 自动重启 · 弹性训练（Elastic Train…
故障恢复容错机制
19
案例实战一
基于 PyTorch DDP 的多机…
案例实战一PyTorch
20
案例实战二
基于 DeepSpeed 的大语言模…
案例实战二DeepSpeed
21
案例实战三
基于 Horovod 的 Tenso…
案例实战三Horovod
22
性能调优实战
从单卡到多卡扩展性分析 · 找出通信瓶颈 · 通过调整 batch size
性能调优实战从单卡到多卡扩展…
23
多机多卡推理部署
模型并行推理 · 张量并行 · 流水线并行
多机多卡推理部署模型并行推理
24
云上多机多卡训练
云实例选择 · 弹性伸缩 · 分布式文件系统（EFS
云上多机多卡训练云实例选择
25
常见问题与解决方案
NCCL 超时 · OOM · 通信死锁
常见问题解决方案
26
性能调优方法论
建立基准 · 分析瓶颈 · 迭代优化
性能调优方法论建立基准
27
分布式训练中的安全与权限
多用户环境下的资源隔离 · 数据安全 · 容器安全
分布式训练安全
28
前沿技术与发展趋势
混合专家模型（MoE） · 联邦学习 · 异构计算
前沿技术发展趋势
29
综合项目实战
从零搭建一个多机多卡训练系统 · 完成数据准备 · 模型训练
综合项目实战从零搭建一个多机…
30
课程总结与进阶路径
核心知识回顾 · 常见误区 · 学习资源推荐
课程总结进阶路径