VIP20

本课程属于：014-GPU集群 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

高性能AI训练实战指南

📚 共计 30 章节

什么是AI训练 · 训练流程全景图 · 高性能训练的核心挑战

硬件选型与配置

GPU/TPU选型 · CPU与内存配置 · 网络与存储方案

深度学习框架选择

PyTorch vs TensorFlow vs JAX · 框架性能对比 · 我的选择建议

数据加载与预处理

DataLoader优化 · 数据增强策略 · 内存与IO瓶颈分析

混合精度训练

FP16与BF16原理 · AMP自动混合精度 · 实战踩坑记录

分布式训练基础

数据并行 · 模型并行 · 流水线并行 · 张量并行

分布式并行

分布式训练框架

DeepSpeed · Megatron-LM · Horovod · FSDP对比

框架分布式

梯度累积与梯度裁剪

原理 · 实现方式 · 何时使用 · 参数调优

学习率调度策略

Warmup · Cosine Annealing · OneCycle · ReduceLROnPlateau

学习率调度

优化器选择

SGD · Adam/AdamW · LAMB · LARS · NVLAMB

优化器对比

模型编译与算子融合

TorchScript · XLA · TVM · TensorRT

显存优化技术

Gradient Checkpointing · Activation Offloading · ZeRO系列

NCCL调优 · 梯度压缩 · 异步通信 · 拓扑感知

训练监控与可视化

TensorBoard · WandB · MLflow · 自定义监控

监控可视化

断点续训与容错

Checkpoint策略 · 故障恢复 · 训练稳定性

容错Checkpoint

超参数搜索

网格搜索 · 随机搜索 · 贝叶斯优化 · Optuna实战

大规模数据管理

WebDataset · Mosaic · 数据去重 · 数据混洗

数据大规模

模型并行实战

张量并行实现 · 流水线并行调度 · 1D/2D并行

模型并行实战

序列并行与上下文并行

长序列训练 · Ring Attention · Flash Attention

序列Attention

专家混合模型（MoE）

MoE原理 · 负载均衡 · 通信模式 · 训练技巧

训练稳定性

损失震荡处理 · 梯度爆炸/消失 · NaN检测与恢复

稳定性调试

性能Profiling

PyTorch Profiler · Nsight Systems · 性能瓶颈定位

Profiling调优

训练成本优化

Spot实例 · 弹性训练 · 资源调度 · 成本估算

多模态训练

图文对齐 · 视频理解 · 多模态数据加载 · 模态平衡

多模态对齐

强化学习训练

RLHF原理 · PPO实现 · 奖励模型训练 · 推理优化

RLHF强化学习

模型压缩与蒸馏

知识蒸馏 · 量化训练 · 剪枝 · 蒸馏策略

持续学习与增量训练

灾难性遗忘 · 经验回放 · 正则化方法

增量持续学习

训练安全与合规

数据隐私 · 模型审计 · 对抗训练 · 红队测试

生产化部署

模型导出 · 推理优化 · 服务化 · A/B测试

前沿趋势与展望

超大规模训练 · AI for Science · 绿色AI · 未来方向