VIP20

本课程属于：017-Nsight AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Nsight实战：AI训练瓶颈分析与优化

📚 共计 30 章节

Nsight系统全景概览

Nsight系列工具家族功能定位与适用场景，AI训练性能分析整体工作流。

工具族工作流

Nsight Systems安装与配置

Linux/Windows/macOS安装步骤，权限设置，本地/远程配置与环境变量。

Nsight Systems界面速览

时间轴、GPU活动、CPU活动、NVLink等核心面板及自定义布局。

AI训练Profiling基础

nsys profile采样PyTorch/TensorFlow，理解.nsys-rep文件生成与打开。

时间轴深度解析

GPU Kernel、内存拷贝、CPU Launch、数据加载事件分布与串行/并行瓶颈。

时间轴事件

GPU利用率分析

GPU Utilization指标，判断饥饿状态，区分计算/访存密集型Kernel。

CPU端瓶颈定位

CPU线程状态分析，识别DataLoader与Python解释器开销导致的瓶颈。

数据加载瓶颈实战

File I/O与Network I/O跟踪，定位读取、解压、增强耗时环节。

I/O数据加载

内存拷贝与带宽分析

Host-Device拷贝事件，PCIe/NVLink带宽利用率，不必要的同步与拷贝。

Kernel启动开销

cudaLaunchKernel耗时分析，理解Launch Overhead对短Kernel的影响。

Nsight Compute基础

ncu微观分析Kernel，理解Occupancy、Memory、Compute等指标。

Occupancy与Warp调度

理论/实际Occupancy差异，Warp Stall原因，优化Block Size与Shared Memory。

内存访问模式分析

L1/L2命中率、Global Load/Store效率、Bank Conflict诊断。

计算吞吐量分析

FP32/FP16/TF32/BF16算力利用率，算术强度与Roofline瓶颈。

吞吐量精度

Roofline模型实战

Nsight Compute生成Roofline图，判断Compute/Memory Bound。

Flash Attention Kernel分析

分块策略、Shared Memory使用与Warp Specialization高效原理。

FlashAttentionTiling

混合精度训练Profiling

FP32 vs AMP对比，Cast操作与Master Weights同步开销。

AMP混合精度

分布式训练（DDP）瓶颈

NCCL通信事件分析，识别通信与计算重叠不足问题。

NVLink与NVSwitch分析

多GPU NVLink带宽利用率，拓扑结构对通信效率的影响。

PyTorch Dataloader多进程优化

num_workers与prefetch_factor对延迟影响，最优配置。

Dataloader多进程

Tensor Cores利用率分析

Tensor Cores指标检查，优化矩阵乘法维度对齐。

TensorCore矩阵

JIT与Graph Compilation优化

TorchScript/torch.compile对比Eager Mode，Kernel融合与Launch开销。

显存（VRAM）瓶颈分析

Memory Allocation跟踪，显存碎片化、峰值占用与梯度检查点效果。

显存GradientCheckpoint

CPU-GPU异步执行分析

CUDA Stream与Event，识别cudaDeviceSynchronize同步开销。

自定义CUDA Kernel优化

Source Correlator映射性能指标到源码行，定位低效代码。

多进程与MPS分析

CUDA MPS对多进程训练的影响，上下文切换与调度开销。

端到端训练Pipeline分析

数据加载、前向、反向、梯度同步、参数更新全链路Critical Path。

PipelineCriticalPath

性能回归测试与CI集成

nsys stats/ncu --csv集成CI/CD Pipeline，自动检测性能退化。

常见AI模型Profile案例

ResNet、BERT、LLaMA瓶颈特征与通用优化策略总结。

ResNetBERTLLaMA

综合优化实战

从Profiling到优化闭环：Batch Size、Flash Attention、Dataloader、分布式、TensorRT，吞吐量提升2倍+。