VIP20

本课程属于：018-TensorCore AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

高性能AI训练全攻略

📚 共计 30 章节

AI训练全景图

什么是AI训练 · 训练流程概览 · 硬件与软件栈 · 性能指标

吞吐量显存利用率通信效率

深度学习框架选型

PyTorch vs TensorFlow vs JAX · 核心概念 · 选型建议

张量自动求导计算图

GPU硬件基础

GPU架构简史 · SM与CUDA Core · 显存层次 · NVLink

数据加载与预处理

DataLoader原理 · 多进程加载 · 内存映射 · 加速技巧

IO瓶颈数据增强预取

混合精度训练 (AMP)

FP16/BF16原理 · 损失缩放 · 动态精度 · NVIDIA AMP实战

AMP大模型经验

分布式训练基础

数据并行 · 模型并行 · 流水线并行 · 张量并行 · 混合策略

DPDDP混合并行

PyTorch DDP深入

DistributedDataParallel原理 · 初始化 · 梯度同步 · 踩坑

负载均衡梯度同步NCCL

ZeRO Stage 1/2/3 · ZeRO-Offload · DeepSpeed实战

ZeRO-Infinity显存优化DeepSpeed

梯度累积与梯度裁剪

梯度累积原理 · 梯度裁剪数学 · 防止梯度爆炸

累积步数裁剪阈值稳定训练

学习率调度策略

Warmup · Cosine Annealing · Step Decay · OneCycle · 调参心得

多项式衰减调度器经验

优化器选择

SGD · Adam/AdamW · LAMB · LARS · NOVOgrad · 场景选择

AdamWLAMB大模型

激活函数与初始化

ReLU家族 · GELU · Swish · Kaiming/Xavier初始化 · Transformer技巧

GELUSiLU初始化

归一化技术

BatchNorm · LayerNorm · RMSNorm · GroupNorm · 大模型选择

LayerNormRMSNorm稳定

模型并行与张量并行

Megatron-LM · 1D/2D张量并行 · 序列并行 · 实战配置

Megatron张量切片通信

流水线并行

GPipe · PipeDream · 1F1B调度 · 虚拟流水线 · 负载均衡

1F1B虚拟流水线吞吐

AllReduce原理 · Ring/Tree AllReduce · 通信计算重叠 · NCCL调优

显存优化技术

激活重计算 · 显存碎片整理 · CPU Offload · 张量共享

CheckpointingOffload碎片

Profiling与性能分析

PyTorch Profiler · Nsight Systems · Nsight Compute · 火焰图

ProfilerNsight火焰图

训练稳定性

Loss爆炸处理 · NaN检测 · 梯度监控 · EMA · 权重平均

EMANaN稳定性

超参数搜索

网格搜索 · 随机搜索 · 贝叶斯优化 · Optuna · 搜索经验

Optuna贝叶斯调参

数据并行扩展 FSDP

FSDP原理 · 配置策略 · 与DDP对比 · 全分片

大模型训练挑战

显存墙 · 通信墙 · 计算墙 · 策略组合 · 成本估算

显存墙通信墙估算

训练脚本最佳实践

配置管理 · 日志 · Checkpoint · 断点续训 · 实验管理

Checkpoint断点续训MLflow

多节点训练

InfiniBand vs Ethernet · RDMA · 网络拓扑 · 节点间通信

训练数据质量

数据清洗 · 去重 · 质量过滤 · 数据配比 · 课程学习

去重配比课程学习

模型压缩与加速

知识蒸馏 · 量化训练 · 剪枝 · 稀疏训练 · 硬件加速

蒸馏量化剪枝

训练监控与告警

指标采集 · TensorBoard/WandB · 告警规则 · 自动恢复

WandB告警可视化

Spot实例 · 弹性训练 · 资源调度 · 混合云 · 成本估算模型

Spot弹性混合云

前沿训练技术

FlashAttention · FlashAttention-2 · PagedAttention · Speculative Decoding

FlashAttnPagedAttn推测解码

实战案例：从单卡到千卡

训练LLaMA · 日志分析 · 性能调优全过程 · 经验总结

LLaMA千卡调优