所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

Megatron-LM分布式大模型训练

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · 前置知识要求
课程导入学习目标
02
分布式训练基础
数据并行 · 模型并行 · 流水线并行的基本概念与区别
分布式训练基础数据并行
03
Megatron-LM框架概览
发展历史 · 核心特性 · 与其他框架（DeepSpeed
Megatron-LM框架概览
04
环境搭建与安装
GPU集群要求 · CUDA/NCCL配置 · Megatron-LM源码获取与依赖…
环境搭建安装
05
数据准备与预处理
训练数据格式 · tokenization · 数据加载与shuffle策略
数据准备预处理
06
模型定义与配置
Transformer架构在Mega… · 模型参数配置 · 层数/头数/维度选择
模型定义配置
07
张量并行（Tensor Parallelism）
原理 · 切分方式 · 矩阵乘法与注意力机制的并行实现
TensorParallelism
08
流水线并行（Pipeline Parallelism）
层间切分 · micro-batch调度 · 前向与反向传播的流水线策略
PipelineParallelism
09
数据并行（Data Parallelism）
梯度同步 · all-reduce通信 · 与模型并行的结合
DataParallelism
10
混合精度训练
FP16/BF16原理 · 损失缩放 · 动态损失缩放
混合精度训练FP16/BF16
11
梯度累积与优化器状态
梯度累积步数 · Adam优化器状态切分 · 减少显存占用
梯度累积优化器状态
12
通信优化
NCCL原理 · 通信拓扑 · 带宽优化
通信优化NCCL
13
显存优化技术
激活重计算（activation c… · 显存碎片整理 · CPU offload
显存优化技术activation
14
模型并行组合策略
3D并行（数据+张量+流水线）的配置…
模型并行组合策略3D并行
15
训练脚本编写
使用Megatron-LM的pret… · 参数解析 · 启动分布式训练
训练脚本编写Megatron-LM
16
分布式训练启动方式
torch.distributed.… · slurm · 多节点配置与容错
分布式训练启动方…torch.distri…
17
训练监控与调试
日志分析 · TensorBoard可视化 · 性能瓶颈定位
训练监控调试
18
模型保存与加载
checkpoint机制 · 断点续训 · 模型转换与推理部署
模型保存加载
19
案例实战
从头训练一个中等规模模型（如1…
案例实战
20
案例实战
基于预训练模型进行领域微调（如法律/…
案例实战基于预训练模型进…
21
案例实战
多节点训练大规模模型（如175B参数…
案例实战多节点训练大规模…
22
性能调优
吞吐量优化 · GPU利用率提升 · batch size与学习率调度
性能调优吞吐量优化
23
常见问题与解决方案
OOM · 通信超时 · 梯度不收敛
常见问题解决方案
24
与HuggingFace Transformers集成
将Megatron模型转换为HF格式 · 使用HF Trainer进行分布式训…
HuggingFaceTransformers
25
高级主题
序列并行 · 专家并行（MoE） · 长序列训练技术
高级主题序列并行
26
高级主题
异步训练 · 流水线调度优化（如Interleav… · 内存高效注意力
高级主题异步训练
27
分布式训练中的安全性
多租户环境 · 数据隐私 · 模型安全
分布式训练安全性
28
成本与资源规划
云GPU选择 · 成本估算 · 弹性训练与自动扩缩容
成本资源规划
29
综合项目
设计并实现一个端到端的分布式训练系统 · 包括数据 · 模型
综合项目设计并实现一个端…
30
课程总结与进阶路径
知识体系回顾 · 常见误区 · 推荐资源与下一步学习方向
课程总结进阶路径