01
梯度累积基础
什么是梯度累积 · 为什么需要梯度累积 · 与Batch Size的关系
入门核心概念
02
梯度累积原理
PyTorch反向传播 · 数学原理 · 伪代码
原理数学
03
梯度累积实战
PyTorch实现 · 代码模板 · 调试技巧
实战代码
04
梯度累积进阶
混合精度训练 · 分布式训练 · 常见陷阱
进阶混合精度
05
梯度累积优化
Batch Size选择 · 学习率调整 · 性能调优
优化调参
06
梯度累积实战项目
图像分类 · 文本分类 · GAN模型
项目CVNLP
07
梯度累积总结
优缺点 · 适用场景 · 未来发展
总结展望
08
梯度累积常见问题
梯度裁剪 · BN层 · 梯度检查点
FAQ技巧
09
梯度累积高级技巧
EMA · 学习率预热 · 权重衰减
高级调优
10
梯度累积实战案例
BERT · ResNet · YOLO
案例SOTA
11
梯度累积与显存优化
显存占用分析 · 减少显存原理 · 与其他技术对比
显存优化
12
梯度累积与模型并行
模型并行基础 · 结合方式 · 与数据并行对比
并行分布式
13
梯度累积与流水线并行
流水线并行基础 · 结合 · 性能分析
流水线性能
14
梯度累积与ZeRO优化
ZeRO基础 · 结合 · 性能对比
ZeRO显存
15
梯度累积与Activation Checkpointing
Checkpointing基础 · 结合 · 性能分析
检查点显存
16
梯度累积与混合精度训练
混合精度基础 · 结合 · 性能分析
AMP加速
17
梯度累积与分布式训练
分布式基础 · 结合 · 性能分析
分布式多卡
18
梯度累积与异步训练
异步训练基础 · 结合 · 性能分析
异步并行
19
梯度累积与梯度压缩
梯度压缩基础 · 结合 · 性能分析
压缩通信
20
梯度累积与梯度量化
梯度量化基础 · 结合 · 性能分析
量化低精度
21
梯度累积与梯度稀疏化
稀疏化基础 · 结合 · 性能分析
稀疏通信
22
梯度累积与梯度累积步数
步数选择 · 与Batch Size关系 · 与学习率关系
步数超参
23
梯度累积与梯度累积频率
频率选择 · 与训练速度关系 · 与模型性能关系
频率效率
24
梯度累积与梯度累积策略
固定累积 · 动态累积 · 自适应累积
策略动态
25
梯度累积与梯度累积优化
显存优化 · 计算优化 · 通信优化
优化系统
26
梯度累积与梯度累积调试
调试工具 · 调试技巧 · 常见错误
调试工具
27
梯度累积与梯度累积测试
测试方法 · 测试指标 · 测试工具
测试验证
28
梯度累积与梯度累积部署
部署方法 · 部署工具 · 注意事项
部署生产
29
梯度累积与梯度累积监控
监控指标 · 监控工具 · 监控告警
监控运维
30
梯度累积与梯度累积总结
总结 · 展望 · 参考资料
总结资料