首页
›
实战100例
›
016-大模型部署与推理优化实战
›
《大模型并行切分与通信优化实战100例》
VIP15
本课程属于：016-大模型部署与推理优化实战
实战100例 · 共 15 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
《大模型并行切分与通信优化实战100例》
共 100 例
01
张量并行基础：按列切分线性层
02
张量并行基础：按行切分线性层
03
Transformer块中的张量并行
04
序列并行：LayerNorm与Dropout的序列切分
05
序列并行：与张量并行结合
06
流水线并行：朴素GPipe实现
07
流水线并行：1F1B调度
08
流水线并行：虚拟流水线
09
数据并行：梯度AllReduce
10
数据并行：梯度压缩通信
11
混合并行：数据并行与张量并行
12
混合并行：数据并行与流水线并行
13
3D并行：数据、张量、流水线并行
14
ZeRO阶段1：优化器状态切分
15
ZeRO阶段2：梯度切分
16
ZeRO阶段3：参数切分
17
ZeRO-R：激活分区与CPU卸载
18
FSDP：全分片数据并行
19
DeepSpeed ZeRO与张量并行结合
20
通信原语：AllReduce实现
21
通信原语：AllGather实现
22
通信原语：ReduceScatter实现
23
通信原语：P2P通信优化
24
通信拓扑：环形AllReduce
25
通信拓扑：树形AllReduce
26
通信拓扑：分块AllReduce
27
通信压缩：梯度量化
28
通信压缩：梯度稀疏化
29
通信压缩：低秩分解
30
通信调度：梯度累积与通信重叠
31
通信调度：流水线并行中的通信隐藏
32
通信调度：异步通信
33
通信调度：梯度分桶通信
34
通信调度：动态通信调整
35
模型并行：手动切分卷积层
36
模型并行：Embedding并行
37
模型并行：MoE并行
38
模型并行：多头注意力并行
39
模型并行：编码器-解码器并行
40
激活检查点：基础实现
41
激活检查点：选择性检查点
42
激活检查点：与张量并行结合
43
激活检查点：与流水线并行结合
44
显存优化：CPU卸载
45
显存优化：NVMe卸载
46
显存优化：内存碎片整理
47
显存优化：激活内存估算
48
负载均衡：流水线阶段均衡
49
负载均衡：MoE专家负载均衡
50
负载均衡：数据并行中的动态负载
51
负载均衡：异构设备调度
52
通信优化：梯度压缩与误差反馈
53
通信优化：延迟隐藏
54
通信优化：带宽自适应
55
通信优化：多节点通信优化
56
通信优化：通信计算图优化
57
并行策略搜索：数据并行度选择
58
并行策略搜索：张量并行度选择
59
并行策略搜索：流水线深度选择
60
并行策略搜索：混合并行配置
61
并行策略搜索：自动并行
62
分布式训练框架：使用PyTorch DDP
63
分布式训练框架：使用Horovod
64
分布式训练框架：使用DeepSpeed
65
分布式训练框架：使用Megatron-LM
66
分布式训练框架：使用ColossalAI
67
分布式训练框架：使用Ray
68
分布式训练框架：使用JAX
69
分布式训练框架：使用OneFlow
70
分布式训练框架：使用MindSpore
71
分布式训练框架：使用PaddlePaddle
72
分布式训练框架：使用TensorFlow
73
分布式训练框架：使用PyTorch RPC
74
分布式训练框架：使用PyTorch Gloo后端
75
分布式训练框架：使用NCCL后端
76
分布式训练框架：使用MPI
77
分布式训练框架：使用弹性训练
78
分布式训练框架：使用容错训练
79
分布式训练框架：使用异步训练
80
分布式训练框架：使用同步训练
81
分布式训练框架：使用梯度累积
82
分布式训练框架：使用混合精度训练
83
分布式训练框架：使用梯度裁剪
84
分布式训练框架：使用学习率调度
85
分布式训练框架：使用权重平均
86
分布式训练框架：使用模型并行推理
87
分布式训练框架：使用流水线推理
88
分布式训练框架：使用张量并行推理
89
分布式训练框架：使用数据并行推理
90
分布式训练框架：使用混合并行推理
91
分布式训练框架：使用动态批处理
92
分布式训练框架：使用连续批处理
93
分布式训练框架：使用PagedAttention
94
分布式训练框架：使用KV Cache优化
95
分布式训练框架：使用投机解码
96
分布式训练框架：使用张量并行推理服务
97
分布式训练框架：使用流水线并行推理服务
98
分布式训练框架：使用数据并行推理服务
99
分布式训练框架：使用混合并行推理服务
100
分布式训练框架：使用弹性推理服务
所属VIP或分类
同VIP：DeepSpeed-ZeRO训练优化实战100例
同VIP：DeepSpeed大模型训练优化库实战100例
同VIP：FlashAttention推理优化实战100例