VIP20

本课程属于：027-DeepSpeed AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

大模型优化库DeepSpeed初探与选型

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

大模型训练挑战 · DeepSpeed简介 · 课程目标与学习路径

课程导入大模型训练挑战

大模型训练基础

模型规模与计算需求 · 内存瓶颈 · 分布式训练概述

大模型训练基础模型规模

DeepSpeed核心概念

ZeRO优化器 · 混合精度训练 · 梯度累积

DeepSpeed核心概念

DeepSpeed架构与组件

训练引擎 · 推理引擎 · 模型并行

DeepSpeed架构

ZeRO技术详解

ZeRO-1 · ZeRO-2 · ZeRO-3

ZeRO技术详解

DeepSpeed安装与环境配置

依赖项 · 安装步骤 · 验证安装

DeepSpeed安装

DeepSpeed快速入门

简单示例 · 配置文件 · 启动训练

DeepSpeed快速入门

DeepSpeed配置详解

JSON配置文件 · 优化器参数 · 调度器

DeepSpeed配置详解

数据并行与模型并行

数据并行原理 · 模型并行策略 · DeepSpeed实现

数据并行模型并行

流水线并行

流水线并行原理 · DeepSpeed流水线API · 微批次调度

流水线并行流水线并行原理

混合精度训练

FP16与BF16 · 损失缩放 · 动态损失缩放

混合精度训练FP16

梯度累积与检查点

梯度累积原理 · 激活检查点 · 内存优化

梯度累积检查点

通信原语 · 梯度压缩 · 通信重叠

通信优化通信原语

DeepSpeed推理

推理引擎 · 模型量化 · 推理优化

DeepSpeed推理

DeepSpeed与PyTorch集成

PyTorch接口 · 自定义模型 · 训练循环修改

DeepSpeedPyTorch

DeepSpeed与Hugging Face集成

Transformers集成 · Trainer使用 · 示例

DeepSpeedHugging

性能调优与监控

性能指标 · 调优策略 · 监控工具

性能调优监控

训练BERT大模型：数据准备 · 配置 · 训练

案例实战BERT

训练GPT类模型：模型选择 · 并行策略 · 训练技巧

案例实战GPT

微调大语言模型：LoRA · DeepSpeed集成 · 实战步骤

案例实战LoRA

常见问题与解决方案

内存不足 · 训练不稳定 · 通信错误

常见问题解决方案

DeepSpeed选型指南

场景分析 · 硬件考量 · 与其他框架对比

DeepSpeed选型指南

DeepSpeed vs 其他优化库

Megatron-LM · FairScale · Colossal-AI对比

DeepSpeed在工业界的应用

案例分享 · 最佳实践 · 经验总结

DeepSpeed工业界的应用

DeepSpeed最新特性

MoE · 课程学习 · 自适应并行

DeepSpeed最新特性

端到端大模型训练：项目规划 · 实施 · 优化

综合项目端到端大模型训练

课程总结与回顾

核心知识点梳理 · 学习成果评估 · 后续学习建议

课程总结回顾

扩展学习资源

官方文档 · 论文 · 社区

扩展学习资源官方文档

配置DeepSpeed训练小模型 · 问题排查

实战练习DeepSpeed

基于DeepSpeed的模型优化方案… · 方案设计 · 展示

结业项目DeepSpeed