所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。

← 返回上一级

← 返回所属目录咨询 / 购买

DeepSpeed ZeRO分布式训练优化

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · DeepSpeed与ZeRO的定位

课程导入学习目标

分布式训练基础

GPU显存瓶颈 · 通信原语（All-Reduce · All-Gather

分布式训练基础GPU

ZeRO的动机 · 与DDP/模型并行的区别 · ZeRO的三个阶段（Optimize…

优化器状态切分原理 · 显存节省计算 · 通信开销分析

梯度切分原理 · Reduce-Scatter与All… · 与Stage 1的对比

参数切分原理 · 前向/反向传播中的参数收集与释放 · 动态通信调度

将优化器状态和梯度卸载到CPU/NV… · 计算与通信重叠 · 显存节省与性能影响

ZeRO-OffloadCPU/NV

无限显存扩展 · NVMe卸载 · 异构内存管理

ZeRO-Infinit…无限显存扩展

DeepSpeed配置详解

DeepSpeed配置文件结构 · ZeRO相关参数（stage · offload_optimizer

DeepSpeed配置详解

环境搭建与安装

GPU驱动 · CUDA · PyTorch

环境搭建安装

第一个ZeRO训练脚本

用DeepSpeed训练一个简单模型… · 逐步配置ZeRO Stage 1 · 并验证显存节省

ZeRO Stage 2实战

在或BERT模型上启用St… · 观察梯度通信与显存变化 · 调整batch size

ZeRO Stage 3实战

训练或LLaMA级别模型 · 配置参数切分 · 处理超大模型加载与保存

ZeRO-Offload实战

在单卡或多卡上启用Offload · 训练大模型 · 对比CPU/GPU显存占用与训练速度

ZeRO-OffloadOffload

ZeRO-Infinity实战

使用ZeRO-Infinity训练超… · 配置NVMe卸载 · 处理checkpoint

ZeRO-Infinit…使用

混合精度训练与ZeRO

FP16/BF16原理 · DeepSpeed的AMP支持 · 损失缩放

ZeRO混合精度训练

梯度累积与ZeRO

梯度累积原理 · 与ZeRO的交互 · 如何设置梯度累积步数

ZeRO梯度累积

通信拓扑 · 梯度压缩 · 梯度裁剪

通信优化通信拓扑

通过DeepSpeed Profil… · 调整ZeRO阶段 · offload策略

性能调优DeepSpeed

常见问题与故障排查

OOM错误 · 通信超时 · checkpoint加载失败

常见问题故障排查

ZeRO与Hugging Face Transformers集成

使用Trainer与DeepSpee… · 配置ZeRO · 加载预训练模型

ZeRO与Megatron-LM结合

模型并行与ZeRO的互补 · DeepSpeed-Megatron… · 训练超大规模模型

ZeROMegatron-LM

ZeRO与MoE（混合专家）模型

DeepSpeed MoE原理 · ZeRO与MoE结合 · 稀疏训练优化

ZeRO在强化学习中的应用

RLHF训练中的ZeRO优化 · PPO与DeepSpeed结合 · 大规模奖励模型训练

ZeRO强化学习

ZeRO在推荐系统中的应用

大规模Embedding训练 · ZeRO与稀疏特征处理 · 工业级案例

ZeRO推荐系统

ZeRO在计算机视觉中的应用

ViT · 扩散模型训练 · ZeRO与图像生成模型优化

ZeRO计算机视觉

ZeRO在自然语言处理中的应用

· BERT · T5等模型训练

ZeRO自然语言处理

综合实战项目

从零训练一个10B参数的语言模型 · 使用ZeRO Stage 3 + O… · 完成数据准备

综合实战项目从零训练一个10…

性能对比与基准测试

在不同硬件（单卡 · 多卡 · 多节点）上对比DDP

性能对比基准测试

课程总结与进阶方向

ZeRO的局限与未来趋势 · 分布式训练前沿（如FSDP · DeepSpeed Ulysses）

课程总结进阶方向