VIP8
本课程属于：024-DeepSpeed分布式训练工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

DeepSpeed训练故障根因分析与综合修复

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
DeepSpeed训练故障根因分析与… · 核心概念 · 整体框架
课程导入DeepSpeed
02
DeepSpeed基础
分布式训练原理 · ZeRO优化阶段 · 混合精度
DeepSpeed分布式训练原理
03
环境与配置
安装部署 · 配置文件解析 · 多机多卡设置
环境配置
04
故障分类与诊断方法
故障类型 · 日志分析 · 监控指标
故障分类诊断方法
05
常见训练故障一
内存溢出（OOM）的根因分析与修复 · 包括显存优化 · 梯度累积
常见训练故障一OOM
06
常见训练故障二
通信失败与超时的根因分析与修复 · 包括NCCL错误 · 网络配置
常见训练故障二通信失败
07
常见训练故障三
数值不稳定（梯度爆炸/消失 · NaN）的根因分析与修复 · 包括损失缩放
常见训练故障三数值不稳定
08
常见训练故障四
性能下降与吞吐量低的根因分析与修复 · 包括计算通信重叠 · 批大小调整
常见训练故障四性能下降
09
常见训练故障五
检查点保存与加载失败的根因分析与修复 · 包括存储权限 · 格式兼容
常见训练故障五检查点保存
10
常见训练故障六
多机多卡扩展性问题的根因分析与修复 · 包括负载均衡 · 拓扑感知
常见训练故障六多机多卡扩展性问…
11
常见训练故障七
混合精度训练中的溢出与下溢根因分析与… · 包括动态损失缩放
常见训练故障七混合精度训练
12
常见训练故障八
数据加载与预处理瓶颈的根因分析与修复 · 包括数据管道优化 · 缓存策略
常见训练故障八数据加载
13
常见训练故障九
模型并行与流水线并行中的故障根因分析… · 包括气泡减少 · 调度优化
常见训练故障九模型并行
14
常见训练故障十
优化器状态与参数更新异常的根因分析与… · 包括状态分片 · 更新逻辑
常见训练故障十优化器状态
15
案例实战一
大规模语言模型训练中的OOM故障排查…
案例实战一OOM
16
案例实战二
多机训练中的NCCL通信超时故障排查…
案例实战二NCCL
17
案例实战三
混合精度训练中的梯度溢出故障排查与修…
案例实战三混合精度训练
18
案例实战四
检查点保存失败导致训练中断的故障排查…
案例实战四检查点保存失败导…
19
案例实战五
性能瓶颈导致训练速度慢的故障排查与修…
案例实战五性能瓶颈导致训练…
20
综合提升一
构建自动化故障诊断与修复系统 · 集成监控 · 告警
综合提升一构建自动化故障诊…
21
综合提升二
DeepSpeed与PyTorch… · Hugging Face等框架集成中…
综合提升二DeepSpeed
22
综合提升三
大规模集群下的容错与弹性训练 · 故障恢复策略
综合提升三大规模集群下的容…
23
综合提升四
性能调优与故障预防最佳实践 · 包括配置模板 · 测试流程
综合提升四性能调优
24
常见问题解答
汇总高频故障 · 快速排查清单 · 社区资源与支持
常见问题解答汇总高频故障
25
课程总结与展望
核心知识点回顾 · 未来趋势 · 持续学习路径
课程总结核心知识点回顾
26
实战项目一
基于DeepSpeed的BERT模型…
实战项目一DeepSpeed
27
实战项目二
基于DeepSpeed的模型训…
实战项目二DeepSpeed
28
实战项目三
基于DeepSpeed的推荐系统模型…
实战项目三DeepSpeed
29
实战项目四
基于DeepSpeed的计算机视觉模…
实战项目四DeepSpeed
30
课程考核与认证
综合测试 · 故障分析报告撰写 · 修复方案设计
课程考核认证