01
内存拷贝基础
CPU与GPU内存模型差异 · PCIe传输原理 · cudaMemcpy详解
硬件PCIe
02
Batch Size与内存带宽
带宽利用率曲线 · 理论峰值与实际吞吐
带宽吞吐
03
同步与异步拷贝
cudaMemcpy同步 · cudaMemcpyAsync异步 · Stream并发
异步Stream
04
内存拷贝与计算重叠
双缓冲技术 · 流水线设计 · CUDA Events时间测量
重叠流水线
05
Batch调参实战
小Batch vs 大Batch拷贝开销 · 梯度累积 · 混合精度影响
调参混合精度
06
内存拷贝优化技巧
页锁定内存 · 统一内存 · 零拷贝访问 · 内存池复用
优化页锁定
07
多GPU通信
NCCL原理 · Ring AllReduce · Batch Size对通信开销影响
NCCLAllReduce
08
性能分析工具
Nsight Systems内存追踪 · nvidia-smi带宽监控 · 自定义Profiler
ProfilerNsight
09
典型模型案例分析
ResNet-50 · BERT · GPT的Batch调参对比
ResNetBERTGPT
10
分布式训练策略
数据并行 · 模型并行 · 流水线并行中的拷贝开销
分布式并行
11
CPU内存分配策略
numa感知分配 · 大页内存 · 内存绑定
NUMA大页
12
GPU内存管理
cudaMalloc vs cudaMallocManaged · 内存碎片化
cudaMalloc碎片
13
Batch Size与显存容量
显存溢出处理 · 梯度检查点 · 激活值重计算
显存检查点
14
数据加载优化
DataLoader多进程 · 预取机制 · 内存映射文件
DataLoader预取
15
混合精度训练
FP16/BF16对拷贝量的影响 · Loss Scaling · Master Weights
FP16BF16
16
梯度累积实现
手动累积 · torch Gradient Accumulation · 通信优化
梯度累积通信
17
动态Batch调整
自适应Batch Size · 学习率调度 · 收敛性分析
动态自适应
18
内存拷贝与延迟
端到端延迟分解 · 拷贝占比分析 · 延迟优化策略
延迟优化
19
Batch Normalization
不同Batch Size下的BN行为 · SyncBN · GroupNorm替代
BNSyncBN
20
模型并行中的拷贝
张量分片 · 通信拓扑 · 计算-通信重叠
模型并行分片
21
流水线并行
微批次划分 · 1F1B调度 · 内存开销分析
流水线1F1B
22
数据增强与拷贝
在线增强开销 · GPU增强 · 预处理流水线
增强预处理
23
稀疏模型训练
MoE架构 · 专家并行 · 通信瓶颈
MoE稀疏
24
超大规模训练
ZeRO优化器 · 分片策略 · 通信压缩
ZeRO分片
25
边缘设备部署
内存限制 · 量化模型 · 拷贝优化
边缘量化
26
云环境调优
实例选择 · 网络带宽 · 存储性能
云带宽
27
自动化调参
贝叶斯优化 · 遗传算法 · 强化学习调参
自动贝叶斯
28
故障排查
内存泄漏检测 · 拷贝错误 · 性能回退
调试泄漏
29
未来趋势
CXL互连 · 存算一体 · 光通信
CXL存算一体
30
综合实战
从单卡到多卡的全流程Batch调参案例
实战全流程