VIP20
本课程属于：027-DeepSpeed AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

DeepSpeed核心概念与架构速览

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
DeepSpeed的定位 · 发展历程 · 核心价值与整体学习路径
课程导入DeepSpeed
02
深度学习训练基础
模型训练流程 · 显存瓶颈 · 计算瓶颈与分布式训练必要性
深度学习训练基础模型训练流程
03
DeepSpeed核心概念总览
ZeRO · Offload · 混合精度
DeepSpeed核心概念总览
04
ZeRO优化器详解
ZeRO-1 · ZeRO-2 · ZeRO-3的分片策略
ZeRO优化器详解
05
混合精度训练
FP16 · BF16 · Loss Scaling原理及Dee…
混合精度训练FP16
06
梯度累积与微批次
如何通过累积梯度模拟大batch训练…
梯度累积微批次
07
Offload技术
CPU Offload与NVMe O… · 性能权衡与配置方法
Offload技术
08
通信优化
梯度压缩 · 通信重叠 · AllReduce与ReduceSc…
通信优化梯度压缩
09
DeepSpeed架构总览
核心组件（Runtime · Engine · Optimizer
DeepSpeed架构总览
10
DeepSpeed配置系统
JSON配置文件结构 · 常用参数（train_batch_s… · optimizer
DeepSpeed配置系统
11
模型并行与流水线并行
Tensor Parallelism · Pipeline Paralleli…
模型并行流水线并行
12
DeepSpeed与PyTorch集成
如何将现有PyTorch模型迁移到D…
DeepSpeedPyTorch
13
实战案例一
使用DeepSpeed训练BERT类… · 配置ZeRO-2与混合精度
实战案例一DeepSpeed
14
实战案例二
使用ZeRO-3与Offload训练… · 显存优化效果分析
实战案例二ZeRO-3
15
实战案例三
多机多卡分布式训练配置与启动流程（d… · hostfile）
实战案例三多机多卡分布式训…
16
性能调优与监控
吞吐量 · 显存占用 · 通信开销的度量与调优策略
性能调优监控
17
常见问题与排查
OOM错误 · 通信失败 · 配置错误
常见问题排查
18
DeepSpeed生态与扩展
DeepSpeed-Inferenc… · DeepSpeed-Chat · MoE等高级特性简介
DeepSpeed生态
19
与其他框架对比
DeepSpeed vs. PyTo…
其他框架对比DeepSpeed
20
综合项目
从零搭建基于DeepSpeed的大模… · 包含数据加载 · 模型定义
综合项目DeepSpeed
21
课程总结与进阶路线
核心知识点回顾 · 最佳实践 · 学习资源与社区参与方式
课程总结进阶路线
22
DeepSpeed最新特性追踪
ZeRO-Infinity · ZeRO-Offload新版本 · 自动调优工具等
DeepSpeed最新特性追踪
23
模型检查点与恢复
保存/加载策略 · 分片检查点合并 · 容错训练
模型检查点恢复
24
超参数调优
学习率调度 · 批次大小缩放 · 优化器选择与DeepSpeed配置联…
超参数调优学习率调度
25
大规模部署注意事项
集群网络 · 存储IO · 故障恢复与弹性训练
大规模部署注意事…集群网络
26
DeepSpeed在NLP中的应用
Transformer模型训练技巧与…
DeepSpeedNLP
27
DeepSpeed在CV中的应用
图像分类 · 检测 · 分割任务的训练配置
DeepSpeedCV
28
DeepSpeed在多模态中的应用
跨模态模型训练挑战与解决方案
DeepSpeed多模态
29
社区贡献与源码解读
如何参与DeepSpeed开发 · 核心代码模块导读
社区贡献源码解读
30
结业项目
设计并实现一个完整的DeepSpee… · 解决实际业务场景中的大规模训练问题
结业项目DeepSpee