VIP20
本课程属于：027-DeepSpeed AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

DeepSpeed入门与零基础知识框架

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
DeepSpeed概述 · ZeRO核心思想 · 学习路径与整体框架
课程导入DeepSpeed
02
深度学习训练基础
模型训练流程 · 显存瓶颈 · 数据并行与模型并行概念
深度学习训练基础模型训练流程
03
DeepSpeed环境搭建
安装配置 · 依赖管理 · 快速启动示例
DeepSpeed环境搭建
04
ZeRO技术原理
ZeRO-1 · ZeRO-2 · ZeRO-3的分片策略与显存优化机制
ZeRO技术原理
05
ZeRO-Offload与ZeRO-Infinity
CPU卸载 · NVMe卸载 · 异构内存管理
ZeRO-OffloadZeRO-Infinit…
06
混合精度训练
FP16 · BF16 · 动态损失缩放与DeepSpeed配置
混合精度训练FP16
07
梯度累积与微批次
增大有效批次 · 内存与计算权衡
梯度累积微批次
08
模型并行与流水线并行
张量并行 · 流水线并行 · 与ZeRO结合使用
模型并行流水线并行
09
DeepSpeed配置详解
JSON配置文件 · 优化器 · 调度器
DeepSpeed配置详解
10
实战
使用DeepSpeed训练BERT模… · 从数据准备到训练启动
DeepSpeedBERT
11
实战
使用ZeRO-3训练大规模语言模型 · 分片策略与检查点管理
ZeRO-3使用
12
实战
使用ZeRO-Offload在单卡上… · CPU内存优化
ZeRO-Offload使用
13
性能调优
通信优化 · 计算优化 · 内存优化
性能调优通信优化
14
常见问题与调试
OOM错误 · 通信失败 · 配置错误
常见问题调试
15
DeepSpeed与Hugging Face集成
Trainer API · Accelerate库 · 示例
DeepSpeedHugging
16
DeepSpeed推理
ZeRO-Inference · 模型量化 · 低延迟部署
DeepSpeed推理
17
分布式训练最佳实践
多机多卡配置 · 网络要求 · 容错与恢复
分布式训练最佳实…多机多卡配置
18
案例研究
GPT-3规模模型训练 · DeepSpeed在工业界的应用
案例研究GPT-3
19
综合项目
从零构建基于DeepSpeed的分布…
综合项目DeepSpeed
20
课程总结与进阶
知识回顾 · 学习资源 · 社区与未来方向
课程总结进阶
21
ZeRO与数据并行进阶
梯度分片 · 参数分片 · 优化器状态分片对比
ZeRO数据并行进阶
22
DeepSpeed内存管理
激活检查点 · 内存碎片整理 · 显存分析工具
DeepSpeed内存管理
23
通信优化技术
梯度压缩 · 通信重叠 · 拓扑感知通信
通信优化技术梯度压缩
24
自动混合精度与损失缩放
原理 · 配置 · 常见陷阱
自动混合精度损失缩放
25
DeepSpeed在推荐系统中的应用
稀疏特征 · 嵌入表分片
DeepSpeed推荐系统
26
DeepSpeed在计算机视觉中的应用
大图像模型 · 视频训练
DeepSpeed计算机视觉
27
DeepSpeed在强化学习中的应用
分布式采样 · 训练加速
DeepSpeed强化学习
28
模型检查点与恢复
分片检查点 · 合并 · 转换与部署
模型检查点恢复
29
性能基准测试
吞吐量 · 延迟 · 扩展效率测量与优化
性能基准测试吞吐量
30
综合提升
自定义优化器 · 扩展DeepSpeed · 贡献代码与社区实践
综合提升自定义优化器