所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

大模型混合精度与数据并行训练

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · 大模型训练面临的挑战（显存
课程导入学习目标
02
深度学习训练基础回顾
张量 · 自动微分 · 优化器（SGD/Adam）与分布式训…
深度学习训练基础…张量
03
浮点数精度基础
FP32 · FP16 · BF16
浮点数精度基础FP32
04
混合精度训练原理
为什么需要混合精度 · FP16的梯度下溢问题 · 损失缩放（Loss Scaling）…
混合精度训练原理为什么需要混合精…
05
混合精度训练核心组件
AMP（Automatic Mixe… · GradScaler与autocas…
混合精度训练核心…AMP
06
BF16与FP16对比
BF16的动态范围优势 · 在深度学习中的适用性 · 与FP16的精度和硬件支持差异
BF16FP16
07
混合精度训练实战（PyTorch）
使用torch.cuda.amp实现… · 损失缩放 · 梯度裁剪与优化器步骤调整
PyTorch混合精度训练实战
08
混合精度训练实战（TensorFlow/其他框架）
使用tf.keras.mixed_p…
TensorFlow混合精度训练实战
09
混合精度训练中的数值稳定性
检查梯度溢出 · 动态损失缩放 · 使用FP32主权重（Master W…
混合精度训练数值稳定性
10
混合精度训练性能调优
减少显存占用 · 提升吞吐量 · 避免精度损失
混合精度训练性能…减少显存占用
11
数据并行基础
数据并行的概念 · 同步与异步更新 · 梯度平均（AllReduce）与参数…
数据并行基础数据并行的概念
12
分布式通信原语
点对点通信（Send/Recv） · 集合通信（Broadcast · AllReduce
分布式通信原语Send/Recv
13
同步数据并行（DDP）
PyTorch Distribute… · 梯度同步过程 · 与DataParallel的区别
DDP同步数据并行
14
数据并行实战（PyTorch DDP）
多卡训练脚本编写 · 启动方式（torchrun） · 环境变量设置与常见错误排查
PyTorchDDP
15
数据并行中的负载均衡与数据加载
DistributedSampler · 多进程DataLoader · shuffle与epoch边界处理
数据并行负载均衡
16
梯度累积与梯度压缩
梯度累积模拟大批量 · 梯度压缩（量化/稀疏化）减少通信开销
梯度累积梯度压缩
17
混合精度与数据并行结合
在DDP中启用AMP · 梯度缩放与AllReduce的交互 · 避免精度损失与通信瓶颈
混合精度数据并行结合
18
大规模训练中的显存优化
梯度检查点（Activation C… · 显存卸载（Offloading） · ZeRO系列简介
大规模训练显存优化
19
ZeRO与数据并行
ZeRO-DP（分片优化器状态 · 梯度 · 参数）与数据并行的关系
ZeRO数据并行
20
FSDP（Fully Sharded Data Parallel）
PyTorch FSDP原理 · 分片策略 · 与DDP的对比及实战配置
FSDPFully
21
混合精度与数据并行在Transformer大模型中的应用
以/LLaMA为例 · 训练配置 · 超参数调整与效果评估
Transformer混合精度
22
案例实战
从零训练一个中等规模（如1B参数）语… · 使用混合精度+数据并行 · 完成数据准备
案例实战从零训练一个
23
性能分析工具
使用NVIDIA Nsight · PyTorch Profiler · TensorBoard分析训练瓶颈（…
性能分析工具NVIDIA
24
常见问题与解决方案
显存不足 · 训练不收敛 · 精度下降
常见问题解决方案
25
混合精度训练的进阶技巧
动态损失缩放调参 · 混合精度下的Batch Normal… · LayerNorm的精度处理
混合精度训练的进…动态损失缩放调参
26
数据并行的扩展性
多节点训练 · InfiniBand与以太网通信 · 拓扑感知与通信调度
数据并行的扩展性多节点训练
27
混合精度与数据并行在分布式训练框架中的集成
DeepSpeed · Megatron-LM · Horovod的配置与对比
混合精度数据并行
28
模型并行与数据并行的结合
张量并行 · 流水线并行与数据并行 · 混合精度协同训练大模型（如…
模型并行数据并行的结合
29
综合实战项目
使用混合精度+数据并行（DDP/FS… · 完成从环境搭建到性能调优的全流程
综合实战项目DDP/FS
30
课程总结与进阶方向
回顾核心知识点 · 常见误区 · 未来趋势（如低精度训练
课程总结进阶方向