VIP20
本课程属于：027-DeepSpeed AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

混合精度训练精度异常与参数校准

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
混合精度训练的定义 · 发展背景 · 核心价值与整体课程框架
课程导入混合精度训练的定…
02
数值计算基础
浮点数表示（FP32 · FP16 · BF16）
数值计算基础FP32
03
混合精度训练原理
自动混合精度（AMP） · 损失缩放（Loss Scaling） · 梯度裁剪与参数更新流程
混合精度训练原理AMP
04
精度异常现象
损失爆炸 · 梯度消失 · NaN/Inf 出现
精度异常现象损失爆炸
05
精度异常根因分析
数据溢出 · 下溢 · 梯度累积
精度异常根因分析数据溢出
06
参数校准方法总览
动态损失缩放 · 静态损失缩放 · 梯度累积校准
参数校准方法总览动态损失缩放
07
动态损失缩放实战
PyTorch AMP 中的 Gra… · 缩放因子更新策略与调试技巧
动态损失缩放实战PyTorch
08
静态损失缩放与手动校准
适用场景 · 缩放因子选择 · 与动态方案的对比实验
静态损失缩放手动校准
09
梯度累积与微批次校准
大批次训练中的精度保持 · 梯度同步与参数更新频率调整
梯度累积微批次校准
10
优化器状态精度管理
FP32 主权重 · 优化器状态分片 · ZeRO 与混合精度的协同
优化器状态精度管…FP32
11
模型层敏感度分析
哪些层容易精度异常（如 LayerN… · Softmax · 注意力）
模型层敏感度分析LayerN
12
数据预处理与精度
输入数据范围 · 归一化 · 嵌入层精度对训练稳定性的影响
数据预处理精度
13
损失函数与精度
交叉熵 · MSE 等损失在混合精度下的数值稳定…
损失函数精度
14
评估与监控
精度异常检测指标 · 日志记录 · 可视化工具与早期预警机制
评估监控
15
案例实战一
图像分类任务中的混合精度精度异常与参…
案例实战一图像分类任务
16
案例实战二
自然语言处理（Transformer…
案例实战二Transformer
17
案例实战三
推荐系统大规模稀疏模型混合精度训练稳…
案例实战三推荐系统大规模稀…
18
案例实战四
强化学习中的混合精度训练精度异常与参…
案例实战四强化学习
19
常见问题与解决方案
NaN 处理 · 损失缩放失效 · 多卡训练不一致
常见问题解决方案
20
超参数调优与自动化
学习率 · 损失缩放因子 · 批次大小的联合搜索与自动化校准
超参数调优自动化
21
硬件与框架差异
不同 GPU 架构（Volta · Ampere · Hopper）与框架（PyTorch
硬件框架差异
22
分布式混合精度训练
数据并行 · 模型并行 · 流水线并行下的精度同步与校准
分布式混合精度训…数据并行
23
精度与性能权衡
混合精度加速比 · 内存节省与精度损失的平衡策略
精度性能权衡
24
高级校准技术
随机舍入 · Kahan 求和 · 补偿算法在混合精度中的应用
高级校准技术随机舍入
25
实验设计与分析
控制变量 · 消融实验 · 统计显著性检验在精度校准中的应用
实验设计分析
26
生产环境部署
混合精度模型推理精度保持 · 量化与混合精度的结合
生产环境部署混合精度模型推理…
27
综合项目一
从零构建混合精度训练管道并实现自动参…
综合项目一从零构建混合精度…
28
综合项目二
针对特定业务场景的精度异常诊断与校准…
综合项目二针对特定业务场景…
29
前沿进展与论文解读
最新混合精度训练技术 · 自适应校准方法 · 开源工具
前沿进展论文解读
30
课程总结与展望
核心知识点回顾 · 最佳实践清单 · 未来趋势与持续学习路径
课程总结核心知识点回顾