第1章
AI训练基础
深度学习发展简史 · GPU/TPU选型 · PyTorch/TensorFlow对比
硬件框架
第2章
数据流水线优化
DataLoader原理 · 多进程加载 · 内存映射与预取 · 数据增强加速
数据IO
第3章
混合精度训练
FP16/BF16原理 · AMP自动混合精度 · Loss Scaling · 硬件支持
精度加速
第4章
分布式训练基础
数据并行 · 模型并行 · 流水线并行 · 张量并行概念解析
分布式并行
第5章
分布式训练实践
PyTorch DDP详解 · NCCL通信库 · 梯度同步与AllReduce
DDPNCCL
第6章
梯度累积与优化
梯度累积原理 · 虚拟Batch Size · 梯度裁剪 · 梯度检查点
内存稳定
第7章
学习率调度
Warmup · Cosine退火 · OneCycle · ReduceLROnPlateau
调度收敛
第8章
优化器选择
SGD · Adam/AdamW · LAMB · LARS · Nadam对比与调参
优化器对比
第9章
权重初始化
Xavier · Kaiming初始化 · 正交初始化 · 预训练权重加载
初始化预训练
第10章
正则化技术
Dropout · DropConnect · Label Smoothing · 权重衰减
正则泛化
第11章
Batch Normalization
BN原理 · 训练/推理差异 · SyncBN · LayerNorm
归一化BN
第12章
模型结构优化
深度可分离卷积 · 注意力机制 · 残差连接 · 激活函数选择
结构高效
第13章
内存优化技术
梯度检查点 · 激活值压缩 · 内存碎片管理 · ZeRO优化器
显存ZeRO
第14章
编译优化
TorchScript · TorchDynamo · XLA编译 · 算子融合
编译加速
第15章
Profiling与性能分析
PyTorch Profiler · NVIDIA Nsight · Flops计算 · 瓶颈定位
分析调优
第16章
超参数搜索
网格搜索 · 随机搜索 · 贝叶斯优化 · Hyperband算法
搜索自动
第17章
实验管理
MLflow · Weights & Biases · TensorBoard · 实验版本控制
管理追踪
第18章
模型量化
INT8量化原理 · PTQ与QAT · 量化感知训练 · 部署优化
量化部署
第19章
知识蒸馏
软标签蒸馏 · 特征蒸馏 · 结构蒸馏 · 自蒸馏方法
蒸馏压缩
第20章
模型剪枝
结构化剪枝 · 非结构化剪枝 · Lottery Ticket假设 · 剪枝调度
剪枝稀疏
第21章
数据并行扩展
FSDP (Fully Sharded Data Parallel) · DeepSpeed ZeRO
FSDPZeRO
第22章
流水线并行
GPipe · PipeDream · 1F1B调度 · 负载均衡策略
流水线并行
第23章
张量并行
Megatron-LM原理 · 列并行与行并行 · 通信优化
张量Megatron
第24章
序列并行
Ring Attention · Flash Attention · 稀疏注意力 · 长序列训练
注意力长序列
第25章
容错与恢复
Checkpoint策略 · 异步保存 · 弹性训练 · 故障检测
容错恢复
第26章
网络优化
RDMA与InfiniBand · 网络拓扑 · 带宽利用率 · 通信计算重叠
网络通信
第27章
存储优化
分布式文件系统 · 对象存储 · 缓存策略 · 数据本地性
存储IO
第28章
大规模训练案例
GPT-3/LLaMA训练经验 · 集群调度 · 成本优化
案例大模型
第29章
训练稳定性
梯度爆炸/消失 · Loss震荡 · NaN检测 · 重启策略
稳定调试
第30章
未来趋势
稀疏训练 · 神经架构搜索 · 自动化调优 · 绿色AI
前沿趋势