所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

全额支付DeepSpeed大模型训练优化库详解

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
DeepSpeed的定位 · 核心价值 · 学习路径与实战环境准备
课程导入DeepSpeed
02
大模型训练挑战
显存瓶颈 · 通信开销 · 并行策略基础与DeepSpeed的解…
大模型训练挑战显存瓶颈
03
DeepSpeed核心架构
ZeRO · 混合精度 · 梯度累积
DeepSpeed核心架构
04
环境搭建与配置
安装DeepSpeed · 依赖项 · GPU驱动
环境搭建配置
05
基础训练流程
使用DeepSpeed启动单卡训练 · 配置ds_config.json · 监控日志
基础训练流程DeepSpeed
06
ZeRO-Offload详解
将优化器状态和梯度卸载到CPU/内存 · 降低显存占用
ZeRO-OffloadCPU
07
ZeRO-Infinity
异构内存扩展 · NVMe卸载 · 超大模型训练原理与配置
ZeRO-Infinit…异构内存扩展
08
混合精度训练
FP16/BF16原理 · 损失缩放 · 动态损失缩放与DeepSpeed实现
混合精度训练FP16/BF16
09
梯度累积与微批处理
调整batch size · 梯度累积步数 · 吞吐与收敛平衡
梯度累积微批处理
10
学习率调度与优化器
Adam/AdamW · LAMB · OneCycle等与DeepSpee…
学习率调度优化器
11
模型并行策略
数据并行 · 张量并行 · 流水线并行在DeepSpeed中的实…
模型并行策略数据并行
12
流水线并行
PipeDream · GPipe原理 · DeepSpeed流水线调度与负载均…
流水线并行PipeDream
13
张量并行
Megatron-LM集成 · 分片方式 · 通信模式与性能调优
张量并行Megatron-LM
14
DeepSpeed MoE
混合专家模型训练 · 稀疏激活 · 负载均衡与通信优化
DeepSpeedMoE
15
自动并行
AutoTP · AutoPP · 自动配置搜索与最佳实践
自动并行AutoTP
16
性能分析工具
DeepSpeed Profiler · Flops Profiler · 通信分析
性能分析工具DeepSpeed
17
训练稳定性
梯度裁剪 · 损失NaN处理 · 检查点保存与恢复
训练稳定性梯度裁剪
18
超参数调优
学习率 · batch size · ZeRO阶段选择
超参数调优学习率
19
大规模训练案例
从7B到175B模型 · 配置示例与经验总结
大规模训练案例从7B到175B…
20
微调与推理优化
DeepSpeed-Inferenc… · 内核融合 · KV缓存
微调推理优化
21
DeepSpeed与HuggingFace集成
Trainer · Transformers · Accelerate协同使用
DeepSpeedHuggingFace
22
分布式训练基础
NCCL · RDMA · 集合通信
分布式训练基础NCCL
23
故障排查与调试
常见错误 · 显存溢出 · 通信超时
故障排查调试
24
性能调优实战
通过Profiler定位瓶颈 · 调整ZeRO · 并行度
性能调优实战Profiler
25
多节点训练
集群配置 · 节点间通信 · 弹性训练与容错
多节点训练集群配置
26
模型压缩与量化
量化感知训练 · 混合量化 · 稀疏化与DeepSpeed支持
模型压缩量化
27
DeepSpeed与PyTorch Lightning、Ray等框架的集成实践。
DeepSpeed与PyTorch Li… · 核心概念 · 实践要点
DeepSpeedPyTorch
28
综合实战项目
从头训练一个中等规模大模型 · 完整配置 · 调优与评估
综合实战项目从头训练一个
29
常见问题与最佳实践
显存不足 · 速度慢 · 收敛差等问题的系统化解决
常见问题最佳实践
30
课程总结与进阶方向
DeepSpeed生态 · 未来趋势 · 学习资源与社区参与
课程总结进阶方向