VIP8
本课程属于：024-DeepSpeed分布式训练工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

DeepSpeed流水线负载均衡与动态调度

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · DeepSpeed流水线并行概述 · 负载均衡与动态调度的重要性
课程导入学习目标
02
基础知识
流水线并行基本原理 · 同步与异步流水线 · 微批次（micro-batch）概念
基础知识流水线并行基本原…
03
核心概念
负载不均衡的来源 · 静态调度与动态调度对比 · 气泡（bubble）与空闲时间
核心概念负载不均衡的来源
04
方法流程
DeepSpeed流水线配置详解 · 负载均衡策略（均匀划分 · 动态规划划分）
方法流程DeepSpeed
05
案例实战
使用DeepSpeed实现简单的流水… · 分析负载不均衡现象 · 应用动态调度优化性能
案例实战DeepSpeed
06
常见问题
负载不均衡的常见原因 · 动态调度的开销与收益 · 内存限制下的调度策略
常见问题负载不均衡的常见…
07
综合提升
结合数据并行与流水线并行 · 自动调优与自适应调度 · 未来研究方向与工业界应用
综合提升结合数据并行
08
课程总结
关键知识点回顾 · 最佳实践总结 · 进一步学习资源推荐
课程总结关键知识点回顾
09
实战项目一
基于Transformer的流水线并… · 对比不同负载均衡策略
实战项目一Transformer
10
实战项目二
动态调度在异构环境下的应用与调优
实战项目二动态调度
11
深入原理
流水线调度理论模型 · 最优调度算法分析 · 通信与计算重叠技术
深入原理流水线调度理论模…
12
性能评估
吞吐量 · 延迟 · 气泡率等指标测量
性能评估吞吐量
13
高级主题
混合并行（数据+流水线+张量）中的负… · 动态调度与自动混合精度结合
高级主题混合并行
14
案例研究
大规模预训练模型中的流水线并行实践（… · BERT）
案例研究大规模预训练模型
15
常见陷阱与规避
负载划分不均 · 通信瓶颈 · 内存溢出
常见陷阱规避
16
工具与生态
DeepSpeed与PyTorch集… · 与其他并行框架对比 · 社区资源与支持
工具生态
17
实验设计
如何设计负载均衡与动态调度的对比实验 · 基准测试方法
实验设计如何设计负载均衡
18
优化技巧
手动调整微批次大小 · 梯度累积 · 激活检查点与调度协同
优化技巧手动调整微批次大…
19
扩展阅读
相关论文解读（PipeDream · GPipe · DAPPLE等）
扩展阅读PipeDream
20
答疑与讨论
学员常见问题解答 · 经验分享 · 互动环节
答疑讨论
21
实战项目三
在真实数据集上应用动态调度 · 完成端到端训练
实战项目三真实数据集上应用…
22
性能调优实战
使用DeepSpeed的自动调优功能…
性能调优实战DeepSpeed
23
跨平台部署
在多GPU · 多节点环境下部署流水线并行训练
跨平台部署GPU
24
容错与弹性
动态调度在故障恢复中的作用 · 弹性训练策略
容错弹性
25
未来展望
流水线并行与动态调度在超大规模模型中…
未来展望流水线并行
26
课程回顾
核心概念 · 方法 · 案例的全面梳理
课程回顾核心概念
27
结业项目
设计并实现一个负载均衡与动态调度的流…
结业项目设计并实现一个负…
28
评估与反馈
项目评审标准 · 性能指标 · 优化建议
评估反馈
29
进阶资源
推荐书籍 · 课程 · 开源项目
进阶资源推荐书籍
30
课程结语
总结与寄语 · 持续学习路径
课程结语寄语