VIP20

本课程属于：024-训练加速 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

高性能AI训练问题解决实战

📚 共计 30 章节

高性能计算基础 · AI训练流程 · 常见性能瓶颈分析

硬件选型与配置

GPU/TPU选型 · CPU与内存配置 · 网络与存储方案

深度学习框架优化

PyTorch性能调优 · TensorFlow性能调优 · 框架对比与选择

数据加载与预处理

DataLoader优化 · 数据增强加速 · 内存与IO平衡

分布式训练基础

数据并行 · 模型并行 · 流水线并行

分布式并行

分布式训练进阶

All-Reduce算法 · 梯度累积 · 混合精度训练

模型架构优化

模型剪枝 · 知识蒸馏 · 量化技术

压缩轻量化

训练监控与调试

TensorBoard使用 · 性能Profiling · 常见错误排查

显存管理 · 梯度检查点 · 内存碎片处理

计算图优化

JIT编译 · 算子融合 · 图优化策略

图优化编译

数据并行深入

DDP与FSDP对比 · ZeRO优化器 · 分片策略

混合精度训练

FP16/BF16原理 · AMP实现 · 损失缩放

梯度累积与同步

梯度累积策略 · 同步频率优化 · 通信压缩

模型并行策略

张量并行 · 序列并行 · 专家并行

模型并行MoE

流水线并行

GPipe · PipeDream · 1F1B调度

流水线调度

大规模训练挑战

显存墙 · 通信墙 · 计算墙

训练稳定性

学习率调度 · 梯度裁剪 · Batch Normalization调优

超参数优化

网格搜索 · 贝叶斯优化 · 学习率预热

数据质量与增强

数据清洗 · 数据平衡 · 自动增强策略

数据质量增强

模型收敛性分析

损失曲线分析 · 梯度范数监控 · 过拟合检测

训练加速工具

DeepSpeed · Megatron-LM · Horovod

容器化与部署

Docker镜像优化 · Kubernetes集群管理 · 训练任务编排

AWS SageMaker · Google Vertex AI · 阿里云PAI

训练成本优化

Spot实例使用 · 资源弹性伸缩 · 预算控制

模型评估与验证

验证集设计 · 评估指标选择 · A/B测试

训练日志与实验管理

MLflow · Weights & Biases · 实验追踪

模型安全与合规

数据隐私 · 模型鲁棒性 · 合规检查

训练故障恢复

Checkpoint策略 · 自动重启 · 容错机制

前沿技术探索

稀疏训练 · 动态网络 · 神经架构搜索

综合实战项目

从零构建高性能训练Pipeline · 端到端优化案例