VIP20
本课程属于：027-DeepSpeed AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

DeepSpeed流水线并行调度机制与效率优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · DeepSpeed流水线并行概述 · 整体课程框架
课程导入学习目标
02
分布式训练基础
数据并行 · 模型并行 · 流水线并行的区别与联系
分布式训练基础数据并行
03
流水线并行核心概念
微批次 · 流水线阶段 · 气泡
流水线并行核心概…微批次
04
DeepSpeed流水线并行架构
引擎组件 · 通信组 · 调度器角色
DeepSpeed流水线并行架构
05
流水线调度机制详解
GPipe · PipeDream · 1F1B等调度策略
流水线调度机制详…GPipe
06
DeepSpeed中的调度实现
1F1B调度 · 交错调度 · 内存优化技术
DeepSpeed调度实现
07
微批次划分与调度参数
微批次大小 · 数量 · 梯度累积的权衡
微批次划分调度参数
08
流水线并行中的通信优化
点对点通信 · 通信重叠 · 梯度同步
流水线并行通信优化
09
负载均衡与气泡最小化
阶段划分策略 · 动态调度 · 自动平衡
负载均衡气泡最小化
10
内存效率优化
激活检查点 · 梯度累积 · ZeRO与流水线并行结合
内存效率优化激活检查点
11
计算与通信重叠
前向与后向重叠 · 通信调度 · 硬件利用
计算通信重叠
12
DeepSpeed配置实战
配置文件详解 · 启动脚本 · 参数调优
DeepSpeed配置实战
13
案例实战一
训练GPT类模型 · 配置流水线并行与性能分析
案例实战一GPT
14
案例实战二
结合ZeRO优化 · 实现大规模模型高效训练
案例实战二ZeRO
15
案例实战三
多机多卡环境下的流水线并行部署与调试
案例实战三多机多卡环境下的…
16
性能评估指标
吞吐量 · 加速比 · 气泡率
性能评估指标吞吐量
17
常见问题与解决方案
内存溢出 · 通信瓶颈 · 负载不均
常见问题解决方案
18
调试与监控工具
DeepSpeed日志 · 性能分析器 · 可视化
调试监控工具
19
高级调度策略
自适应调度 · 异步流水线 · 弹性训练
高级调度策略自适应调度
20
与其他并行技术结合
张量并行 · 专家并行 · 混合并行
其他并行技术结合张量并行
21
流水线并行在推理中的应用
推理优化 · 延迟降低
流水线并行推理
22
效率优化最佳实践
参数调优 · 硬件选型 · 集群配置
效率优化最佳实践参数调优
23
综合提升一
从零构建流水线并行训练流程
综合提升一从零构建流水线并…
24
综合提升二
优化现有训练任务 · 提升吞吐量
综合提升二优化现有训练任务
25
综合提升三
大规模集群下的流水线并行调优
综合提升三大规模集群下的流…
26
前沿进展
最新调度算法 · DeepSpeed新特性
前沿进展最新调度算法
27
课程总结
核心知识点回顾 · 学习路径建议
课程总结核心知识点回顾
28
实战项目
端到端训练一个百亿参数模型
实战项目端到端训练一个百…
29
性能对比实验
不同调度策略的基准测试
性能对比实验不同调度策略的基…
30
答疑与扩展
常见疑问解答 · 进一步学习资源
答疑扩展