VIP20
本课程属于：027-DeepSpeed AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

从零开始掌握DeepSpeed优化库

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
DeepSpeed简介 · 学习目标 · 整体课程框架与学习路径
课程导入DeepSpeed
02
深度学习训练基础
模型训练流程 · 显存瓶颈 · 计算瓶颈
深度学习训练基础模型训练流程
03
DeepSpeed核心概念
ZeRO优化器 · 混合精度训练 · 梯度累积
DeepSpeed核心概念
04
环境搭建与安装
硬件要求 · 软件依赖 · pip安装
环境搭建安装
05
DeepSpeed配置入门
配置文件结构 · 常用参数 · 运行简单示例
DeepSpeed配置入门
06
ZeRO阶段详解
ZeRO-1 · ZeRO-2 · ZeRO-3的原理
ZeRO阶段详解
07
混合精度训练
FP16与BF16 · 动态损失缩放 · 精度与性能权衡
混合精度训练FP16
08
梯度累积与微批次
原理 · 配置方法 · 对训练效果的影响
梯度累积微批次
09
模型并行与流水线并行
概念 · DeepSpeed实现 · 配置示例
模型并行流水线并行
10
数据并行与分布式训练
数据加载 · 通信优化 · 多机多卡配置
数据并行分布式训练
11
优化器与学习率调度
DeepSpeed支持的优化器 · 自定义优化器 · 调度器配置
优化器学习率调度
12
检查点与模型保存
检查点格式 · 保存与加载 · 断点续训
检查点模型保存
13
推理加速
DeepSpeed-Inferenc… · 模型量化 · 推理优化技术
推理加速DeepSpeed-In…
14
DeepSpeed与Hugging Face集成
Trainer集成 · Transformers模型适配
DeepSpeedHugging
15
性能调优与监控
性能指标 · profiling工具 · 常见调优策略
性能调优监控
16
案例实战
使用DeepSpeed训练BERT模…
案例实战DeepSpeed
17
案例实战
使用DeepSpeed训练GPT类大…
案例实战DeepSpeed
18
案例实战
使用DeepSpeed进行大规模推荐…
案例实战DeepSpeed
19
案例实战
使用DeepSpeed进行计算机视觉…
案例实战DeepSpeed
20
常见问题与解决方案
安装问题 · 配置错误 · 训练不稳定
常见问题解决方案
21
高级特性
稀疏注意力 · MoE模型 · 课程学习
高级特性稀疏注意力
22
DeepSpeed生态与工具
DeepSpeed-Chat · DeepSpeed-MII · DeepSpeed-Compress…
DeepSpeed生态
23
分布式训练最佳实践
硬件选型 · 网络配置 · 容错处理
分布式训练最佳实…硬件选型
24
模型部署与生产化
模型导出 · 服务化部署 · 性能测试
模型部署生产化
25
综合项目
从零构建基于DeepSpeed的大模…
综合项目DeepSpeed
26
课程回顾与知识总结
核心知识点梳理 · 学习路径回顾
课程回顾知识总结
27
进阶学习资源
官方文档 · 论文 · 社区
进阶学习资源官方文档
28
实战练习
配置ZeRO-2训练一个小型模型
实战练习ZeRO-2
29
实战练习
使用DeepSpeed-Infere…
实战练习DeepSpeed-In…
30
结业项目
设计并实现一个完整的DeepSpee…
结业项目DeepSpee