VIP20

本课程属于：013-GPU调度 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI训练性能监控与诊断实战

📚 共计 30 章节

AI训练性能监控概述

为什么需要监控 · 监控的核心目标 · 挑战与难点

训练性能指标体系

吞吐量 · 训练时间 · GPU利用率 · 内存带宽 · 数据加载延迟

GPU硬件架构与性能模型

NVIDIA架构 · SM与Tensor Core · 内存层次 · Roofline模型

性能分析工具链

nvidia-smi · nvtop · Nsight Systems · Nsight Compute · PyTorch Profiler

GPU利用率监控实战

nvidia-smi详解 · 利用率指标解读 · 常见瓶颈分析

内存与显存监控

显存使用量 · 内存泄漏检测 · 显存碎片化 · OOM诊断

数据加载性能监控

DataLoader原理 · 加载瓶颈定位 · prefetch与num_workers调优

CPU与GPU流水线分析

预处理与计算重叠 · Async加载 · 流水线气泡识别

流水线并行

网络通信性能监控

分布式通信模式 · AllReduce与AllGather · 带宽与延迟监控

网络分布式

通信库性能分析

NCCL监控 · 环境变量调优 · 通信拓扑优化 · 网络拥塞诊断

分布式训练性能模型

Amdahl/Gustafson定律 · 弱/强扩展 · 扩展效率计算

Profiling基础

Profiling vs Logging · Trace与Span · 数据采集方法

Nsight Systems实战

Timeline视图 · GPU Trace · CPU Trace · 同步点识别

Nsight Compute实战

Kernel分析 · Occupancy分析 · Memory/Compute瓶颈 · 指令优化

PyTorch Profiler实战

Profiler API · TensorBoard集成 · 内存Profiling · 分布式Profiling

性能瓶颈自动诊断

规则引擎 · 瓶颈模式库 · 自动告警与建议生成

自动化诊断

训练性能基准测试

基准设计原则 · Micro/End-to-end benchmark · 标准化流程

模型架构对性能的影响

Transformer vs CNN · Attention开销 · 激活/归一化层性能

混合精度训练监控

AMP原理 · FP16/BF16对比 · Loss Scaling监控 · 精度权衡

混合精度AMP

梯度累积与梯度检查点

梯度累积原理 · 检查点内存节省 · 计算开销分析

数据并行与模型并行监控

DP/DDP对比 · 模型并行通信 · Pipeline并行气泡

ZeRO优化器监控

ZeRO Stage 1/2/3 · 显存节省与通信开销 · ZeRO++新特性

训练稳定性监控

Loss异常检测 · 梯度范数监控 · NaN/Inf检测 · 学习率调度

稳定性调试

训练任务调度与资源管理

Slurm/Kubernetes监控 · GPU资源分配 · 排队与抢占

性能监控Dashboard设计

Grafana+Prometheus · 关键指标可视化 · 告警规则配置

Dashboard可视化

大规模训练集群监控

集群级性能视图 · 节点异常检测 · 网络拓扑可视化 · 能耗监控

集群大规模

训练性能回归测试

CI/CD集成 · 性能基线管理 · 回归告警 · 自动化测试

常见性能问题案例集

数据加载瓶颈 · 显存不足 · 通信慢 · Kernel启动开销 · 负载不均衡

性能优化方法论

瓶颈定位三步法 · ROI评估 · 优先级排序 · 迭代优化流程

方法论流程

未来趋势与前沿

动态神经网络 · 稀疏训练 · 可重构计算 · AI for Systems · 自动调优