VIP20

本课程属于：020-多卡通信 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

多卡训练性能回归与持续优化实战

📚 共计 30 章节

性能基准定义

理解多卡训练中的吞吐量、MFU、HFU等核心指标，建立性能回归基线。

Profiling工具链

掌握PyTorch Profiler、Nsight Systems、TensorBoard等工具的使用与数据解读。

计算瓶颈分析

识别矩阵乘法、注意力机制等算子的计算效率瓶颈，分析FLOPs利用率。

通信瓶颈分析

深入理解All-Reduce、All-Gather等集合通信原语，分析通信耗时与带宽利用率。

集合通信带宽

数据加载、预处理与磁盘IO对训练性能的影响，使用DataLoader与WebDataset优化。

DataLoaderWebDataset

内存瓶颈分析

显存占用分析，识别激活值、优化器状态、模型参数的内存分布与优化空间。

显存激活值

性能回归测试框架

搭建自动化性能回归测试流水线，使用pytest-benchmark与自定义CI/CD。

性能数据可视化

使用TensorBoard、WandB、Grafana构建性能仪表盘，追踪历史趋势。

TensorBoardGrafana

性能回归告警机制

设定性能退化阈值，集成Slack/钉钉告警，实现自动回滚与通知。

分布式策略选择

对比DDP、FSDP、DeepSpeed ZeRO、Tensor Parallel、Pipeline Parallel的适用场景。

DDP性能调优

调整梯度累积、批大小、混合精度策略，优化DDP通信效率。

梯度累积混合精度

FSDP与ZeRO调优

配置分片策略、CPU offload、重叠通信与计算，减少显存碎片。

分片CPU offload

Tensor Parallel调优

理解张量并行切分策略，优化通信拓扑与计算负载均衡。

张量并行负载均衡

Pipeline Parallel调优

设计微批次数量、管道深度与调度策略，减少气泡时间。

微批次气泡

混合精度训练

FP16/BF16/FP8的精度选择，Loss Scaling策略，梯度裁剪与溢出检测。

FP16BF16Loss Scaling

梯度累积与同步

调整梯度累积步数，优化同步频率，平衡收敛速度与吞吐量。

累积步数同步

数据加载优化

使用多进程、内存映射、预取与缓存策略，消除数据加载瓶颈。

多进程预取

使用torch.compile、XLA、Triton等编译器优化计算图，减少Python开销。

torch.compileTriton

算子融合与优化

手动融合Kernel，使用FlashAttention、FusedAdam等优化算子。

FlashAttentionFusedAdam

网络拓扑感知

根据节点间网络拓扑（NVLink、InfiniBand、RoCE）优化通信策略。

NVLinkInfiniBand

性能回归分析报告

生成结构化性能报告，包含对比基线、瓶颈定位与优化建议。

报告基线对比

持续集成与持续部署

将性能测试集成到CI/CD流水线，实现每次提交自动回归。

CI/CD自动回归

性能基线管理

版本化管理性能基线数据，支持历史对比与回归分析。

基线版本管理

多维度性能分析

结合计算、通信、IO、内存四个维度进行综合性能剖析。

计算通信IO内存

性能优化优先级排序

根据Amdahl定律与瓶颈分析，确定优化投入产出比最高的方向。

Amdahl优先级

大规模集群性能测试

在千卡集群上进行线性扩展测试，分析弱扩展与强扩展效率。

千卡扩展测试

性能回归自动化

使用Python脚本自动化执行性能测试、数据采集与报告生成。

自动化Python

性能优化案例实战

分析典型性能退化案例，如通信拥塞、显存溢出、负载不均。

性能优化最佳实践

总结多卡训练性能优化的通用方法论与常见陷阱。

最佳实践方法论

未来趋势与展望

探讨稀疏计算、异构计算、3D并行等前沿技术对性能优化的影响。

稀疏计算3D并行