所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

大模型并行切分与通信优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · 大模型训练面临的挑战
课程导入学习目标
02
并行计算基础
数据并行 · 模型并行 · 流水线并行的定义
并行计算基础数据并行
03
分布式训练框架
PyTorch DDP · DeepSpeed · Megatron-LM
分布式训练框架PyTorch
04
张量并行原理
张量切分方式（行并行 · 列并行） · 矩阵乘法中的切分与聚合
张量并行原理张量切分方式
05
流水线并行原理
微批次划分 · 前向/反向调度 · 气泡率计算
流水线并行原理微批次划分
06
数据并行进阶
梯度同步策略（AllReduce · Ring-AllReduce） · 梯度压缩
数据并行进阶AllReduce
07
混合并行策略
3D并行（数据+张量+流水线）的组合… · 显存与通信权衡 · 典型配置
混合并行策略3D并行
08
显存优化技术
ZeRO系列（ZeRO-DP · ZeRO-R · ZeRO-Infinity）
显存优化技术ZeRO
09
通信原语详解
点对点通信（Send/Recv） · 集合通信（Broadcast · AllReduce
通信原语详解Send/Recv
10
通信拓扑与硬件
NVLink · InfiniBand · 以太网
通信拓扑硬件
11
通信瓶颈分析
通信计算重叠 · 通信量估算 · 带宽与延迟的影响
通信瓶颈分析通信计算重叠
12
通信优化技术
梯度分桶 · 通信调度 · 异步通信
通信优化技术梯度分桶
13
AllReduce算法详解
Ring-AllReduce · Tree-AllReduce · Butterfly
AllReduce算法详解
14
流水线调度优化
1F1B调度 · 交错调度 · 零气泡调度（ZB-H1）
流水线调度优化F1B
15
张量并行通信优化
切分维度选择 · 通信算子融合 · 减少通信次数
张量并行通信优化切分维度选择
16
序列并行
序列维度切分 · 与张量并行结合 · 通信模式
序列并行序列维度切分
17
专家并行（MoE）
专家切分 · 路由 · 通信模式（All-to-All）
MoE专家并行
18
自动并行
自动切分策略搜索 · 基于代价模型的优化 · 编译器（如XLA
自动并行自动切分策略搜索
19
案例实战
基于PyTorch实现张量并行（列并…
案例实战PyTorch
20
案例实战
基于DeepSpeed实现ZeRO-… · 观察显存与通信变化
案例实战DeepSpeed
21
案例实战
使用Megatron-LM配置3D并… · 调整并行度并分析性能
案例实战Megatron-LM
22
案例实战
实现Ring-AllReduce并对… · 理解通信优化原理
案例实战Ring-AllRedu…
23
案例实战
在流水线并行中实现1F1B调度 · 对比GPipe的气泡率与吞吐量
案例实战F1B
24
案例实战
使用NCCL工具分析通信瓶颈 · 通过调整通信拓扑或分桶大小优化训练速…
案例实战NCCL
25
常见问题
通信死锁 · 通信超时 · 显存不足
常见问题通信死锁
26
常见问题
并行度选择不当 · 通信与计算重叠不足 · 梯度同步开销过大的调优方法
常见问题并行度选择不当
27
性能评估与调优
训练吞吐量 · MFU（模型浮点利用率） · 通信占比
性能评估调优
28
前沿进展
长序列并行 · 异步流水线 · 通信感知的调度
前沿进展长序列并行
29
综合项目
设计并实现一个支持数据并行+张量并行… · 完成训练并优化通信
综合项目设计并实现一个支…
30
课程总结与展望
核心知识回顾 · 最佳实践总结 · 未来趋势（如超大规模模型
课程总结核心知识回顾