VIP20

本课程属于：015-NCCL AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

GPU集群性能剖析与瓶颈定位

📚 共计 30 章节

GPU集群概述

定义与演进 · 典型架构 · 应用场景

AI训练科学计算图形渲染

性能指标与度量

TFLOPS · 显存带宽 · 监控工具 · 基准测试

nvidia-smiDCGMPrometheus

计算瓶颈分析

SM占用率 · Tensor Core · CPU-GPU协同 · Nsight

算子剖析Nsight Compute

显存瓶颈定位

容量/带宽 · 碎片化 · 泄漏检测 · 统一内存

显存交换内存泄漏

网络瓶颈诊断

Fat-Tree · NCCL/MPI · AllReduce · 拥塞与丢包

Dragonfly集合通信

存储瓶颈分析

Lustre · GPFS · DataLoader · IOPS/带宽

分布式存储缓存策略

负载均衡与调度

Slurm · Kubernetes · 拓扑感知 · 动态调整

资源分配GPU调度

能耗与散热瓶颈

功耗监控 · Power Capping · 降频 · 绿色计算

散热效率功耗平衡

软件栈瓶颈

CUDA版本 · PyTorch/TF调优 · 容器开销

驱动兼容框架性能

端到端性能剖析

全链路追踪 · 瀑布图 · 根因定位 · LLM案例

大语言模型实战

GPU集群基准测试

MLPerf · HPL · HPCG · 设计原则

基准测试对比分析

单节点性能优化

CUDA优化 · 共享内存 · 算子融合 · 混合精度

Bank Conflict自动调优

多节点通信优化

NCCL调优 · NVLink · RDMA · 通信计算重叠

数据加载优化

TFRecord · WebDataset · 预处理流水线 · Alluxio

JuiceFS分布式缓存

显存优化技术

Gradient Checkpointing · CPU Offloading · ZeRO

张量并行流水线并行

自动混合精度训练

FP16/BF16/FP8 · Loss Scaling · AMP实战

精度权衡性能加速

Profiling工具深度使用

Nsight Systems · Nsight Compute · PyTorch Profiler

TensorBoard内核分析

可视化性能分析

Grafana + Prometheus · 实时告警 · 趋势分析

仪表盘监控

常见性能陷阱

小Batch · 数据加载瓶颈 · 频繁同步 · 日志开销

陷阱排查优化建议

案例：ResNet-50训练剖析

单卡到多卡 · 数据并行 · 瓶颈定位全过程

计算机视觉扩展性

案例：GPT模型训练剖析

大模型挑战 · 3D并行 · 显存通信平衡

DP+TP+PP大语言模型

案例：科学计算性能剖析

分子动力学 · CFD · GPU加速评估

自动化瓶颈检测

规则检测 · 机器学习预测 · 自适应调优

AI辅助自动优化

集群容量规划

性能建模 · Strong/Weak Scaling · 成本权衡

扩展性预测

故障诊断与恢复

ECC错误 · XID · 网络故障 · 自动恢复

硬件故障容错

安全与隔离

多租户 · MIG · vGPU · 数据隐私

NVLink-C2C · CXL · 存算一体 · 光子计算

性能优化方法论

PDCA · 回归测试 · 团队协作 · 知识沉淀

流程持续改进

综合实战：性能剖析平台

工具链集成 · 自动化报告 · 持续优化

平台构建DevOps

课程总结与展望

核心回顾 · 优化趋势 · 学习路径