VIP20
本课程属于：024-英伟达技术 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大规模模型训练异常根因定位与修复

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · 异常根因定位与修复在AI工程中的重要…
课程导入学习目标
02
大规模模型训练基础
分布式训练架构 · 数据并行 · 模型并行
大规模模型训练基…分布式训练架构
03
训练异常分类
常见异常类型（如loss不收敛 · 梯度爆炸/消失 · 显存溢出
训练异常分类loss
04
日志与监控体系
训练日志规范 · 监控指标（如GPU利用率 · 网络带宽
日志监控体系
05
根因定位方法论
系统化排查流程（从现象到假设再到验证… · NVIDIA DCGM）
根因定位方法论系统化排查流程
06
数据问题定位
数据加载瓶颈 · 数据质量（噪声 · 标签错误）导致的训练异常及修复方法
数据问题定位数据加载瓶颈
07
模型问题定位
模型结构错误 · 初始化不当 · 激活函数选择等引发的训练问题及调试技…
模型问题定位模型结构错误
08
优化器与学习率问题
学习率设置不当 · 优化器参数错误导致的收敛异常及调整策…
优化器学习率问题
09
分布式通信异常
NCCL错误 · 网络延迟 · 拓扑问题导致的训练中断与性能下降的定…
分布式通信异常NCCL
10
显存管理异常
显存溢出（OOM）的常见原因 · 显存碎片化 · 梯度检查点等优化技术
显存管理异常OOM
11
硬件故障定位
GPU故障 · CPU过载 · 内存错误等硬件问题的检测与替换流程
硬件故障定位GPU
12
案例实战
loss不收敛的根因定位与修复（从数… · 模型 · 优化器到超参的全面排查）
案例实战loss
13
案例实战
训练中断（如NCCL超时）的根因定位… · 配置 · 资源竞争分析）
案例实战NCCL
14
案例实战
显存溢出（OOM）的根因定位与修复（… · 批次大小 · 混合精度调整）
案例实战OOM
15
案例实战
训练速度慢的根因定位与性能优化（数据… · 计算效率 · 通信效率）
案例实战训练速度慢的根因…
16
常见问题与解决方案
梯度爆炸/消失的检测与处理（梯度裁剪 · 归一化）
常见问题解决方案
17
常见问题与解决方案
loss为NaN或Inf的根因分析与… · 学习率 · 数据异常）
常见问题解决方案
18
常见问题与解决方案
模型不收敛的调试策略（学习率调度 · 权重初始化 · 正则化）
常见问题解决方案
19
常见问题与解决方案
多机多卡训练中的同步问题（参数更新不… · 时钟偏差）
常见问题解决方案
20
常见问题与解决方案
训练结果可复现性问题（随机种子 · 非确定性操作）
常见问题解决方案
21
自动化异常检测
基于规则和机器学习的方法（如异常检测… · 告警系统）
自动化异常检测基于规则
22
根因定位工具开发
构建自定义诊断工具（如profili… · trace分析）的实践
根因定位工具开发profili
23
故障恢复与容错机制
检查点（checkpoint）策略 · 自动重启 · 弹性训练
故障恢复容错机制
24
性能调优与异常预防
通过超参数调优 · 架构优化减少异常发生
性能调优异常预防
25
大规模训练最佳实践
从数据准备到模型部署的全流程注意事项
大规模训练最佳实…从数据准备到模型…
26
综合实战项目
模拟一个大规模训练任务 · 设计异常场景并完成根因定位与修复
综合实战项目模拟一个大规模训…
27
前沿技术
混合专家模型（MoE） · 长序列训练中的异常挑战与解决方案
前沿技术MoE
28
云环境与集群管理
在Kubernetes等平台上训练异…
云环境集群管理
29
课程总结
核心要点回顾 · 学习路径建议 · 常见误区
课程总结核心要点回顾
30
结业测试
综合考核学员对异常根因定位与修复的掌…
结业测试综合考核学员对异…