VIP19
本课程属于：025-系统化实战技能 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多节点训练集群网络优化实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 多节点训练集群网络优化的背景与重要性
课程导入学习目标
02
网络基础
TCP/IP · RDMA · InfiniBand
网络基础TCP/IP
03
集群架构
典型多节点训练集群的硬件组成与网络拓…
集群架构典型多节点训练集…
04
通信模式
集合通信（AllReduce · AllGather等）原理与实现
通信模式AllReduce
05
性能指标
带宽 · 延迟 · 消息速率等关键性能指标及其测量方法
性能指标带宽
06
网络瓶颈
识别多节点训练中的网络瓶颈（如通信与…
网络瓶颈识别多节点训练
07
优化策略
网络拓扑优化 · 路由策略 · 流控与拥塞控制
优化策略网络拓扑优化
08
RDMA优化
RDMA配置 · 调优与常见问题
RDMA优化
09
集合通信库
NCCL · Horovod等库的使用与调优
集合通信库NCCL
10
数据并行优化
数据加载 · 预处理与通信的流水线设计
数据并行优化数据加载
11
模型并行优化
张量并行 · 流水线并行中的通信优化
模型并行优化张量并行
12
混合并行
数据并行与模型并行结合时的网络优化
混合并行数据并行
13
梯度压缩
梯度量化 · 稀疏化等技术减少通信量
梯度压缩梯度量化
14
通信调度
通信与计算重叠 · 异步通信等调度策略
通信调度通信
15
网络模拟与建模
使用模拟器预测性能与瓶颈
网络模拟建模
16
性能分析工具
使用NCCL · TensorBoard等工具分析通信…
性能分析工具NCCL
17
案例实战
基于PyTorch DDP的多节点训…
案例实战PyTorch
18
案例实战
基于Horovod的多节点训练网络优…
案例实战Horovod
19
案例实战
大规模Transformer模型训练…
案例实战Transformer
20
常见问题
网络延迟高 · 带宽利用率低等问题的排查与解决
常见问题网络延迟高
21
常见问题
多节点训练中通信超时 · 丢包等故障处理
常见问题多节点训练
22
云环境优化
在云上构建多节点训练集群的网络优化
云环境优化云上构建多节点训…
23
异构网络
混合使用不同网络技术（如以太网与In…
异构网络In
24
自动调优
利用自动调优工具（如Tunable）…
自动调优Tunable
25
安全与可靠性
网络故障恢复 · 冗余设计
安全可靠性
26
前沿技术
NVLink · NVSwitch · CXL等新型互连技术
前沿技术NVLink
27
综合实战
从零搭建并优化一个多节点训练集群
综合实战从零搭建并优化一…
28
综合实战
针对特定模型（如GPT）进行网络优化
综合实战GPT
29
综合提升
设计大规模训练集群的网络架构
综合提升设计大规模训练集…
30
课程总结
核心要点回顾 · 学习路径建议与未来趋势
课程总结核心要点回顾