VIP20
本课程属于：047-空间转录组特征学习任务 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

显存优化与批量大小调整指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
显存优化概述
为什么需要显存优化 · Batch Size影响
显存优化概述为什么需要显存优…
02
深度学习显存机制
张量存储 · 梯度 · 优化器状态
深度学习显存机制张量存储
03
显存监控工具
nvidia-smi · torch.cuda.memory_…
显存监控工具nvidia-smi
04
Batch Size对训练的影响
收敛速度 · 泛化能力 · 显存占用
BatchSize
05
梯度累积（Gradient Accumulation）
原理 · 实现 · 注意事项
GradientAccumulation
06
混合精度训练（AMP）
FP16/FP32混合 · Loss Scaling
AMP混合精度训练
07
梯度检查点（Gradient Checkpointing）
原理 · 实现 · 性能权衡
GradientCheckpointin…
08
模型并行与数据并行
DP · DDP · 模型并行切分
模型并行数据并行
09
流水线并行（Pipeline Parallelism）
基本思想 · 实现
PipelineParallelism
10
张量并行（Tensor Parallelism）
Megatron-LM等
TensorParallelism
11
显存碎片化与优化
Pytorch的caching al… · 碎片整理
显存碎片化优化
12
动态显存分配
torch.cuda.set_per…
动态显存分配torch.cuda.s…
13
模型结构优化
减少中间张量 · in-place操作
模型结构优化减少
14
激活值压缩与稀疏化
激活检查点 · 量化
激活值压缩稀疏化
15
Batch Size与学习率缩放
线性缩放法则 · 热启动
BatchSize
16
自适应Batch Size
AutoML · 自动调整策略
BatchSize
17
不同GPU的显存限制
单卡 vs 多卡 · 显存均衡
GPU不同
18
显存分析工具
torch.cuda.memory_… · memray等
显存分析工具torch.cuda.m…
19
常见显存溢出（OOM）错误及解决方案。
常见显存溢出（OOM）错误及解决方案 · 核心概念 · 实践要点
OOM常见显存溢出
20
使用torch.utils.checkpoint实现检查点。
使用torch.utils.checkp… · 核心概念 · 实践要点
torch.utils.…使用
21
数据加载优化
DataLoader的num_wor… · prefetch_factor等
数据加载优化DataLoader
22
数据预处理与缓存
减少显存中临时数据
数据预处理缓存
23
优化器状态显存
Adam vs SGD · 各种优化器显存差异
优化器状态显存Adam
24
模型参数共享与秩分解
降低参数量
模型参数共享秩分解
25
显存与批处理的权衡
找到最佳batch size
显存批处理的权衡
26
分布式训练的显存优化
ZeRO优化器 · FSDP
分布式训练的显存…ZeRO
27
ZeRO-Stage1/2/3原理与配置。
ZeRO-Stage1/2/3原理与配置 · 核心概念 · 实践要点
ZeRO-Stage1/…原理
28
显存优化的实际案例
训练BERT · GPT等大模型
显存优化的实际案…BERT
29
实验设计与性能基准测试
如何评估优化效果
实验设计性能基准测试
30
总结与最佳实践
工具推荐 · 常见套路
最佳实践工具推荐