VIP20
本课程属于：027-DeepSpeed AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

混合精度训练与动态损失缩放实操

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
混合精度训练的定义 · 发展背景 · 核心价值与整体课程框架
课程导入混合精度训练的定…
02
数值精度基础
FP32 · FP16 · BF16
数值精度基础FP32
03
混合精度训练原理
前向传播 · 反向传播中的精度选择与计算图优化
混合精度训练原理前向传播
04
动态损失缩放机制
损失缩放的目的 · 梯度下溢与上溢问题 · 动态调整策略
动态损失缩放机制损失缩放的目的
05
主流框架支持
PyTorch AMP · TensorFlow Mixed P… · Apex 等工具概览
主流框架支持PyTorch
06
PyTorch AMP 实战
autocast 与 GradSca…
PyTorchAMP
07
动态损失缩放参数调优
初始缩放因子 · 增长因子 · 回退因子
动态损失缩放参数…初始缩放因子
08
梯度裁剪与混合精度
结合梯度裁剪避免梯度爆炸的实践方法
梯度裁剪混合精度
09
混合精度下的优化器选择
哪些优化器兼容 · 哪些需要特殊处理
混合精度下的优化…哪些优化器兼容
10
模型权重备份与恢复
混合精度训练中的检查点保存与加载注意…
模型权重备份恢复
11
常见报错与调试
NaN 损失 · 梯度溢出 · 精度不匹配等问题的排查与解决
常见报错调试
12
性能评估与基准测试
混合精度对训练速度 · 显存占用 · 收敛性的影响分析
性能评估基准测试
13
计算机视觉案例
使用混合精度训练 ResNet 或…
计算机视觉案例ResNet
14
自然语言处理案例
混合精度训练 BERT 或 GPT…
自然语言处理案例BERT
15
推荐系统案例
大规模 Embedding 模型的混…
推荐系统案例Embedding
16
分布式训练与混合精度
DDP · FSDP 下的混合精度配置与注意事项
分布式训练混合精度
17
混合精度与模型并行
张量并行 · 流水线并行中的精度管理
混合精度模型并行
18
动态损失缩放的替代方案
静态损失缩放 · 无损失缩放方法的对比
动态损失缩放的替…静态损失缩放
19
混合精度训练中的数值稳定性
如何监控梯度范数 · 激活值分布
混合精度训练数值稳定性
20
超参数调整策略
学习率 · 批量大小与混合精度的协同调整
超参数调整策略学习率
21
混合精度在推理中的应用
量化与混合精度推理的区别与联系
混合精度推理
22
混合精度训练的最佳实践
从数据加载到模型保存的全流程建议
混合精度训练的最…从数据加载到模型…
23
常见误区与避坑指南
过度缩放 · 精度损失 · 硬件不兼容等问题
常见误区避坑指南
24
高级技巧
梯度累积 · 多损失缩放 · 自适应缩放策略
高级技巧梯度累积
25
混合精度与自动微分
自定义函数的精度处理与梯度正确性验证
混合精度自动微分
26
混合精度训练的可复现性
随机种子 · 确定性算法与精度影响
混合精度训练的可…随机种子
27
行业应用案例
大规模预训练模型中的混合精度实践分享
行业应用案例大规模预训练模型
28
综合项目一
从零实现一个混合精度训练的图像分类任…
综合项目一从零实现一个混合…
29
综合项目二
基于动态损失缩放的文本生成模型训练与…
综合项目二基于动态损失缩放…
30
课程总结与展望
核心知识点回顾 · 未来趋势与进一步学习资源
课程总结核心知识点回顾