VIP20
本课程属于：024-英伟达技术 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大规模GPU集群故障快速诊断与恢复

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
大规模GPU集群故障诊断与恢复的重要… · 学习目标 · 课程框架
课程导入GPU
02
GPU集群基础
GPU架构 · 集群拓扑 · 通信模式
GPU集群基础
03
故障检测基础
监控指标 · 日志收集 · 告警系统
故障检测基础监控指标
04
硬件故障诊断
GPU卡故障 · NVLink故障 · 电源故障
硬件故障诊断GPU
05
网络故障诊断
InfiniBand/RoCE网络 · 交换机故障 · 链路拥塞
网络故障诊断InfiniBand/R…
06
软件故障诊断
驱动问题 · CUDA错误 · 库冲突
软件故障诊断驱动问题
07
分布式训练故障
框架级错误 · 通信库超时 · 数据加载瓶颈
分布式训练故障框架级错误
08
故障定位技术
日志分析 · 性能剖析 · 分布式追踪
故障定位技术日志分析
09
自动化诊断
脚本化检查 · AI辅助诊断 · 机器学习异常检测
自动化诊断脚本化检查
10
故障恢复策略
节点重启 · 任务迁移 · 检查点恢复
故障恢复策略节点重启
11
容错设计
冗余配置 · 故障转移 · 高可用架构
容错设计冗余配置
12
案例实战
典型故障场景模拟与诊断流程演练
案例实战典型故障场景模拟
13
性能调优与故障预防
性能瓶颈分析 · 预防性维护 · 容量规划
性能调优故障预防
14
综合项目
构建一个完整的故障诊断与恢复系统
综合项目构建一个完整的故…
15
课程总结
核心知识回顾 · 最佳实践 · 未来趋势
课程总结核心知识回顾
16
故障诊断工具链
常用工具（nvidia-smi · dcmi · ipmitool等）的使用与组合
故障诊断工具链nvidia-smi
17
日志管理
集中式日志系统（ELK/Loki）的…
日志管理ELK/Loki
18
监控告警
Prometheus/Grafana… · 告警规则设计
监控告警Prometheus/G…
19
故障演练
混沌工程 · 故障注入 · 演练流程与评估
故障演练混沌工程
20
多租户环境下的故障隔离与恢复。
多租户环境下的故障隔离与恢复 · 核心概念 · 实践要点
多租户环境下的故…恢复
21
大规模集群的运维自动化
Ansible/Kubernetes…
大规模集群的运维…Ansible/Kube…
22
故障诊断中的性能数据采集与分析
NVIDIA DCGM · NCCL测试
故障诊断性能数据采集
23
网络诊断进阶
RDMA性能测试 · 路由问题 · 拥塞控制
网络诊断进阶RDMA
24
存储故障诊断
分布式文件系统 · 并行文件系统 · 缓存问题
存储故障诊断分布式文件系统
25
作业调度与故障恢复
Slurm/Kubernetes作业…
作业调度故障恢复
26
故障预测与预防
基于历史数据的预测模型 · 健康度评估
故障预测预防
27
案例研究
真实大规模集群故障复盘与经验总结
案例研究真实大规模集群故…
28
故障诊断的沟通与协作
团队协作 · 故障升级流程 · 文档化
故障诊断的沟通协作
29
前沿技术
GPU虚拟化 · DPU · 智能网卡在故障诊断中的应用
前沿技术GPU
30
综合实战
从故障发生到恢复的完整流程演练与考核
综合实战从故障发生到恢复…