VIP20

本课程属于：006-吞吐压测 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Batch调参与显存峰值协同优化实战

📚 共计 30 章节

Batch Size 基础概念

什么是Batch Size · 与Epoch关系 · 与Iteration关系

显存管理基础

GPU显存架构 · PyTorch分配机制 · TensorFlow分配机制

显存峰值计算

前向传播 · 反向传播 · 优化器状态显存占用

Batch Size 与显存关系

线性增长模型 · 非线性因素(BN) · 实际案例分析

梯度累积技术

梯度累积原理 · PyTorch实现 · TensorFlow实现 · 等效Batch计算

混合精度训练

FP16/FP32原理 · AMP实现 · 显存节省分析

梯度检查点 (Gradient Checkpointing)

原理与实现 · 显存vs计算权衡 · 应用场景

检查点显存

动态Batch Size调整

基于显存余量 · 基于训练稳定性 · 实现策略

动态自适应

Batch Size 与收敛速度

小Batch收敛特性 · 大Batch收敛特性 · Linear Scaling Rule

收敛学习率

Batch Size 与泛化能力

小Batch泛化优势 · 大Batch泛化劣势 · 缓解方法

泛化鲁棒性

Batch Size 与训练稳定性

梯度噪声分析 · 损失震荡 · Warmup策略

稳定性warmup

显存峰值优化工具

torch.cuda.memory_summary · nvidia-smi · PyTorch Profiler

模型并行与Batch Size

模型并行原理 · 张量并行 · 流水线并行 · Batch分配

并行分布式

数据并行与Batch Size

数据并行原理 · 同步BN · 全局vs局部Batch

数据并行同步

Stage 1/2/3 · ZeRO与Batch Size协同

激活值显存优化

激活值存储策略 · 压缩 · Activation Checkpointing进阶

激活值压缩

Batch Size 与学习率Warmup

Warmup必要性 · 线性/余弦Warmup · 与Batch关系

warmup学习率

Batch Size 与权重衰减

权重衰减作用 · Batch影响 · 自适应调整

正则化衰减

Batch Size 与 Batch Normalization

BN原理 · 小Batch问题 · 虚拟BN

Batch Size 与 Layer Normalization

LN vs BN · LN对Batch鲁棒性 · 应用场景

Batch Size 与 Dropout

Dropout原理 · Batch对Dropout影响 · Spatial Dropout

Batch Size 与学习率调度

Step Decay · Cosine Annealing · OneCycleLR · 匹配策略

调度学习率

Batch Size 与数据增强

增强对Batch多样性影响 · 强度关系 · 自适应增强

Batch Size 与损失函数

交叉熵Batch敏感性 · 对比损失 · Focal Loss特性

Batch Size 与优化器选择

SGD · Adam · AdamW · LAMB · 适应性

优化器选择

Batch Size 与分布式训练

AllReduce通信开销 · 梯度压缩 · 通信计算重叠

分布式通信

Batch Size 与超参数搜索

网格/随机/贝叶斯搜索 · Batch作为超参数策略

搜索超参数

Batch Size 与模型规模

小/大模型最佳Batch · Scaling Laws中的Batch

Batch Size 与硬件适配

单GPU · 多GPU · TPU · 硬件选择指南

综合实战案例

构建Batch调参系统 · 显存监控报警 · 自动化Pipeline