01
混合精度训练概述
什么是混合精度训练 · 为什么需要 · FP16 vs FP32 · 发展历史
基础概念
02
浮点数基础
IEEE 754 · FP32/FP16 位宽精度 · BF16 & TF32
原理数值
03
混合精度训练原理
Master Weights · Loss Scaling · AMP机制 · 精度管理
核心机制
04
PyTorch AMP实战
torch.cuda.amp · autocast · GradScaler · 典型代码
PyTorch代码
05
TensorFlow混合精度
tf.keras.mixed_precision · Policy · LossScaleOptimizer
TensorFlowAPI
06
损失缩放深入
为什么需要 · 动态/静态缩放 · 溢出处理
Loss Scaling进阶
07
梯度裁剪与混合精度
梯度裁剪原理 · AMP配合 · 常见陷阱
梯度稳定
08
Batch Size与学习率调优
Batch选择 · Linear Scaling · Warmup · 调参建议
超参数策略
09
模型精度与收敛性分析
收敛影响 · 精度损失验证 · 排查问题
分析调试
10
显存优化技巧
节省显存 · Gradient Checkpointing · 碎片问题
显存优化
11
分布式训练与混合精度
DDP+AMP · Horovod · NCCL · 大规模注意事项
分布式并行
12
性能分析
Profiling工具 · Throughput · 通信开销 · 瓶颈定位
性能调优
13
常见模型适配案例
ResNet · Transformer · YOLO · LSTM/RNN
实战模型
14
数值稳定性问题
下溢/上溢 · NaN/Inf排查 · 日志监控
稳定性调试
15
自定义算子与混合精度
FP16自定义算子 · autocast规则 · 精度测试
算子开发
16
硬件基础
NVIDIA架构 · Tensor Core · 硬件选型
硬件GPU
17
软件生态 · Apex
NVIDIA Apex · O1/O2/O3 · 社区工具
Apex生态
18
调试技巧
错误信息 · detect_anomaly · 梯度监控
调试工具
19
自动化工具
AMP自动调优 · 超参数搜索 · AutoML集成
自动化调优
20
Benchmark
GLUE · ImageNet · 速度/精度曲线 · 报告撰写
评测标准
21
迁移学习
预训练加载 · Fine-tuning精度 · 跨任务迁移
迁移实战
22
量化感知训练 (QAT)
QAT+混合精度 · 伪量化 · 部署对齐
量化压缩
23
稀疏训练
梯度稀疏化 · 权重稀疏 · 混合精度优化
稀疏效率
24
联邦学习
通信压缩 · 异构设备 · 隐私权衡
联邦分布式
25
强化学习
经验回放 · 策略梯度 · 数值稳定性
RL实战
26
生成对抗网络 (GAN)
生成器/判别器精度 · 模式崩溃 · 调优经验
GAN生成
27
NLP · Transformer大模型
长序列显存 · 序列并行 · /LLaMA
NLP大模型
28
计算机视觉 (CV)
高分辨率 · 数据增强 · ViT/ConvNeXt
CV视觉
29
部署与推理
PTQ · TensorRT · ONNX · 边缘部署
部署推理
30
未来趋势
FP8/FP4 · 硬件趋势 · 最佳实践总结
前沿总结