VIP20
本课程属于：020-SMILES分子生成建模 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

GPU混合精度训练与资源性能优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
混合精度训练概述
什么是混合精度训练 · 为什么需要混合精度训练 · 与传统单精度训练的区别
混合精度训练概述什么是混合精度训…
02
浮点数基础
FP16 · BF16 · FP32
浮点数基础FP16
03
NVIDIA GPU架构与张量核心
Volta · Turing · Ampere
NVIDIAGPU
04
混合精度训练的数学原理
缩放因子 · 梯度缩放 · 精度损失分析
混合精度训练的数…缩放因子
05
自动混合精度（AMP）机制
PyTorch AMP · TensorFlow AMP · JAX AMP介绍
AMP自动混合精度
06
PyTorch AMP实战
从torch.cuda.amp到to… · autocast与GradScale…
PyTorchAMP
07
TensorFlow AMP实战
tf.keras.mixed_pre…
TensorFlowAMP
08
梯度缩放策略
动态缩放 vs 静态缩放 · overflow检测与恢复
梯度缩放策略vs
09
损失缩放最佳实践
选择合适的初始缩放因子 · 缩放因子更新频率
损失缩放最佳实践选择合适的初始缩…
10
混合精度训练中的数值稳定性
NaN/Inf处理 · 梯度裁剪与缩放的关系
混合精度训练数值稳定性
11
GPU显存优化
混合精度如何减少显存占用 · 梯度检查点 · 重计算技术
GPU显存优化
12
训练速度优化
混合精度训练加速的理论上限 · 实际加速比影响因素
训练速度优化混合精度训练加速…
13
分布式训练中的混合精度
DDP与AMP结合 · Horovod · DeepSpeed
分布式训练混合精度
14
混合精度训练与梯度累积
如何在梯度累积中正确使用AMP
混合精度训练梯度累积
15
混合精度训练在CV模型中的应用
ResNet · ViT训练调优案例
CV混合精度训练
16
混合精度训练在NLP模型中的应用
BERT · GPT训练调优案例
NLP混合精度训练
17
混合精度训练在推荐系统中的应用
DCN · DLRM训练调优案例
混合精度训练推荐系统
18
混合精度训练在强化学习中的应用
PPO · DQN训练调优案例
混合精度训练强化学习
19
GPU性能监控
nvidia-smi · nvtop · DCGM
GPU性能监控
20
GPU利用率调优
计算利用率 · 内存带宽利用率 · 占用率分析与优化
GPU利用率调优
21
CUDA内核调优
内核启动配置 · 网格/块大小调整 · warp调度
CUDA内核调优
22
数据加载与传输优化
DataLoader多进程 · 内存固定 · prefetch
数据加载传输优化
23
模型并行与张量并行
混合精度下的模型并行策略 · Megatron-LM原理
模型并行张量并行
24
流水线并行
GPipe · 1F1B调度与混合精度的配合
流水线并行GPipe
25
ZeRO优化器与混合精度
ZeRO-1 · 2 · 3原理
ZeRO优化器
26
混合精度训练常见问题与调试
精度下降 · 收敛失败 · 性能瓶颈排查
混合精度训练常见…调试
27
混合精度训练工具与库
Apex · FairScale · ColossalAI
混合精度训练工具Apex
28
混合精度训练在云环境中的实践
AWS · GCP · Azure GPU实例调优
混合精度训练云环境
29
混合精度训练未来趋势
FP8训练 · 低精度大模型训练 · 硬件演进
混合精度训练未来…FP8
30
综合实战项目
端到端混合精度训练与GPU调优流程 · 从数据到部署
综合实战项目GPU