VIP20

本课程属于：024-训练加速 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

GPU集群性能优化指南

📚 共计 30 章节

GPU集群概述

定义、发展历程、应用场景 (AI训练/科学计算/渲染) 及主流架构对比 (A100/H100 vs MI250 vs 国产GPU)

集群硬件架构

计算节点CPU+GPU拓扑、NVLink/InfiniBand/RoCE网络、并行文件系统Lustre/GPFS与对象存储

性能基准测试

GPU: nvidia-smi/DCGM/MLPerf · 网络: ib_write_bw/perftest · 存储: IOR/mdtest

深度学习训练优化

DataLoader流水线、混合精度(FP16/BF16/FP8)、梯度累积同步、DDP/FSDP/DeepSpeed策略

训练分布式

NCCL vs RCCL vs MPI · Ring/Tree AllReduce · 网络拥塞控制 · 梯度压缩

GPU显存管理

显存监控/泄漏检测、Checkpointing/Activation Offloading、碎片整理、统一内存

作业调度与资源管理

SLURM配置、MIG/vGPU隔离、优先级抢占、节点健康检查

nvidia-smi功耗限制、DVFS、液冷散热、绿色计算策略

故障诊断与容错

GPU XID错误、网络丢包、自动恢复、Checkpoint/Restart、日志分析

集群监控系统

Prometheus+Grafana、DCGM Exporter、网络流量监控、告警规则

监控Prometheus

容器化部署

Docker/NVIDIA Container Toolkit、K8s GPU调度、Helm Chart、镜像优化

多租户管理

ResourceQuota、DRF公平调度、RBAC权限、计费审计

多租户权限

网络架构优化

Fat-Tree vs Dragonfly、路由策略、DCQCN/ECN拥塞控制、RoCE调优

存储性能优化

NFS Cache/Burst Buffer、小文件优化、IOPS与带宽平衡、分层存储

大模型训练优化

3D并行(TP+PP+DP)、ZeRO优化器、序列并行、FlashAttention

大模型并行

INT8/INT4量化、TensorRT、Triton Inference Server、动态批处理

多模态训练优化

文本+图像+视频加载、混合精度对齐、跨模态注意力、预处理流水线

多模态训练

科学计算优化

CUDA Fortran/HIP移植、cuFFT vs rocFFT、稀疏矩阵、MPI+OpenMP

科学计算HPC

图神经网络优化

图采样、分布式图存储、消息传递优化、PyG vs DGL

强化学习优化

环境并行、经验回放、RLlib/SampleFactory、模型更新策略

自动化机器学习 (AutoML)

Ray Tune超参搜索、神经架构搜索(NAS)、早停策略、资源自动分配

数据预处理优化

RAPIDS cuDF加速、数据增强流水线、去重清洗、特征工程

模型压缩与加速

知识蒸馏、剪枝(结构化/非结构化)、低秩分解、硬件感知量化

网络安全隔离、传输/存储加密、访问控制、安全审计与合规

Spot实例、预留实例、混合云架构、成本监控与预测

性能分析工具

Nsight Systems/Compute、PyTorch Profiler、Triton Profiler、自定义框架

集群扩展性

线性扩展评估、通信瓶颈、数据并行限制、万卡集群挑战

国产GPU适配

华为昇腾CANN、百度昆仑XPU、寒武纪MLU、海光DCU适配优化

最佳实践案例

大模型训练集群优化、科学计算集群优化、云原生GPU集群案例

CXL互联、存算一体、光互联、量子计算+GPU融合、AI for HPC