VIP20

本课程属于：020-多卡通信 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

GPU集群训练性能回归分析实战

📚 共计 30 章节

GPU集群概述

为什么需要集群训练 · 集群架构基础（节点、网络、存储）· 性能回归分析的定义与价值

性能指标定义

吞吐量(samples/sec) · 算力利用率MFU · 通信效率 · 显存占用 · 端到端耗时

基准测试方法论

固定迭代法 · 固定数据法 · 预热与稳定期判断 · 多次运行取中位数

单卡基线建立

单GPU性能摸底 · CPU瓶颈排查 · 数据加载管线优化 · 混合精度影响

多卡扩展性分析

强/弱扩展 · 加速比与效率曲线 · Amdahl定律 · Gustafson定律

通信瓶颈分析

All-Reduce原理 · Ring/Tree All-Reduce · 通信计算重叠 · 带宽利用率

网络拓扑影响

NVLink/NVSwitch · InfiniBand vs RoCE · 叶脊架构 · 跨机延迟模型

数据并行性能模型

梯度同步开销 · 梯度累积 · Batch Size与学习率 · 全局BS影响

数据并行调参

模型并行与流水线并行

张量并行(Megatron-LM) · 流水线并行(GPipe/1F1B) · 气泡率 · 负载均衡

模型并行流水线

混合并行策略

3D并行(DP+TP+PP) · 序列并行 · 专家并行(MoE) · 自动并行搜索

混合并行MoE

性能Profiling工具

Nsight Systems · PyTorch Profiler · TensorBoard · 自定义计时器

工具Profiling

性能数据采集

自动化脚本 · 日志解析 · 指标聚合 · 时间戳对齐 · 异常值处理

回归分析基础

线性/多项式/多元回归 · 过拟合与正则化 · R²与RMSE

数值特征(BS/GPU数/参数量) · 类别特征 · 特征缩放与编码

特征预处理

时间序列建模

性能波动趋势 · 周期性检测 · ARIMA · LSTM性能预测

时间序列预测

Z-Score/IQR · 残差分析 · 滑动窗口 · 告警阈值设定

性能回归测试流水线

CI/CD集成 · 触发策略 · 基线对比 · 回归报告生成

可视化与仪表盘

Grafana面板 · 性能趋势图 · 热力图 · 散点图矩阵 · 实时看板

可视化仪表盘

案例1：BERT Large

从单卡到64卡的全流程性能回归分析

案例2：GPT-3 175B

3D并行下的扩展性挑战与回归分析

案例3：MoE模型

专家负载不均与通信热点回归

案例4：多任务学习

动态Batch分配与资源争抢回归

案例多任务

案例5：混合精度训练

FP16/BF16/FP8吞吐与精度权衡回归

案例混合精度

性能瓶颈定位方法论

木桶原理 · 瓶颈树分析 · Roofline模型 · 关键路径分析

方法论瓶颈

性能优化策略

算子融合 · 显存优化(重计算/卸载) · 异步加载 · 编译优化

GPU小时成本 · 电力成本 · 网络带宽成本 · TCO估算

资源需求预测 · 扩缩容策略 · 预留实例与Spot实例

大规模集群稳定性

慢节点检测 · 故障恢复 · Checkpoint策略 · 弹性训练

稳定性弹性

性能回归分析工具链

DeepSpeed/ColossalAI/Alpa/Ray对比 · 自研工具架构

工具链开源

总结与展望

最佳实践 · AI for Systems · 万卡集群与超大规模模型挑战