VIP20
本课程属于：021-GPU数据中心：AI算力集群部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

GPU集群分布式训练任务中断分析与避坑

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 分布式训练基础与中断问题概述
课程导入学习目标
02
分布式训练基础
数据并行 · 模型并行 · 流水线并行的原理与适用场景
分布式训练基础数据并行
03
GPU集群架构
典型硬件拓扑（NVLink · InfiniBand） · 调度系统（Slurm
GPU集群架构
04
任务中断类型
硬件故障 · 软件错误 · 网络问题
任务断类型
05
硬件故障排查
GPU错误（ECC · Xid） · CPU
硬件故障排查GPU
06
软件错误分析
CUDA错误 · 驱动问题 · 框架bug（PyTorch/Tens…
软件错误分析CUDA
07
网络通信问题
RDMA · TCP/IP · 网络拥塞
网络通信问题RDMA
08
存储系统瓶颈
I/O延迟 · 文件系统限制 · 数据加载对训练稳定性的影响
存储系统瓶颈I/O
09
资源管理与调度
OOM · CPU/GPU资源争抢 · 任务排队与抢占
资源管理调度
10
日志与监控
系统日志 · 训练日志 · 监控指标（GPU利用率
日志监控
11
检查点机制
模型保存与恢复 · 定期checkpoint策略 · 断点续训原理
检查点机制模型保存
12
容错设计
弹性训练 · 故障转移 · 冗余机制
容错设计弹性训练
13
常见中断案例
OOM · NCCL超时 · 驱动崩溃等案例解析
常见断案例
14
NCCL通信库
NCCL原理 · 常见错误（超时 · 初始化失败）及调优
NCCL通信库
15
分布式训练框架
Horovod · DeepSpeed · Megatron等框架的中断处理机制
分布式训练框架Horovod
16
性能与稳定性权衡
batch size · 梯度累积 · 混合精度对中断的影响
性能稳定性权衡
17
数据加载优化
DataLoader多进程 · 缓存 · 预取等避免I/O中断
数据加载优化DataLoader
18
故障模拟与演练
混沌工程 · 注入故障测试系统韧性
故障模拟演练
19
监控告警体系
Prometheus · Grafana等工具搭建告警规则
监控告警体系Prometheus
20
日志分析实战
使用ELK或Loki集中管理日志 · 快速定位问题
日志分析实战ELK
21
自动恢复策略
重启策略 · 自动重启脚本 · 健康检查
自动恢复策略重启策略
22
云环境与本地集群差异
云服务（AWS · GCP）中的中断处理与Spot实例
云环境本地集群差异
23
成本与稳定性平衡
使用抢占式实例的容错设计
成本稳定性平衡
24
案例实战
从零搭建一个带容错的分布式训练任务
案例实战从零搭建一个带容…
25
案例实战
分析一个真实中断案例 · 定位根因并解决
案例实战分析一个真实
26
常见问题FAQ
NCCL超时 · GPU掉卡 · 训练不收敛等
FAQ常见问题
27
最佳实践总结
设计高可用训练任务的关键要点
最佳实践总结设计高可用训练任…
28
工具与资源
推荐调试工具 · 社区 · 论文
工具资源
29
综合项目
设计一个大规模训练任务 · 包含监控 · 容错
综合项目设计一个大规模训…
30
课程总结
回顾核心知识点 · 展望未来趋势
课程总结回顾核心知识点