第1章
AI训练性能剖析概述
为什么需要性能剖析 · 目标与挑战 · 黄金法则
概念入门
第2章
性能指标与度量
吞吐量 · 算力利用率 · 显存带宽 · 数据加载延迟 · 通信开销
指标度量
第3章
Profiling工具链介绍
Nsight Systems · PyTorch Profiler · TensorBoard · DeepSpeed Profiler
工具生态
第4章
Nsight Systems实战
安装配置 · 时间线分析 · GPU Kernel追踪 · CPU-GPU交互
NVIDIA实战
第5章
PyTorch Profiler实战
Profiler API · 栈追踪 · 内存分析 · 自动化报告
PyTorch调试
第6章
数据加载瓶颈分析
DataLoader原理 · 预处理瓶颈 · IO瓶颈 · 分布式加载
数据IO
第7章
GPU Kernel性能分析
Kernel启动开销 · 计算效率 · 内存访问 · Warp发散
GPUKernel
第8章
显存与带宽分析
容量瓶颈 · 带宽瓶颈 · 碎片化 · 复用策略
显存带宽
第9章
通信与同步开销
AllReduce原理 · 通信拓扑 · 同步屏障 · 异步通信
分布式通信
第10章
混合精度训练剖析
FP16/BF16精度 · Loss Scaling · 梯度缩放 · 权衡
混合精度AMP
第11章
模型并行策略剖析
数据并行 · 模型并行 · 流水线并行 · 张量并行
并行策略
第12章
算子融合与优化
Fused Kernel · 算子融合 · JIT编译 · TVM/Triton
算子编译
第13章
计算图优化
图捕获 · 图优化 · JIT编译 · TorchScript/Dynamo
计算图优化
第14章
显存优化技术
梯度检查点 · 激活重计算 · 显存卸载 · ZeRO优化器
显存ZeRO
第15章
数据加载优化
预读取 · 缓存 · 数据增强加速 · 数据格式优化
数据加速
第16章
分布式训练性能剖析
通信拓扑 · 负载均衡 · 梯度累积 · 异步训练
分布式性能
第17章
大规模训练性能调优
集群调度 · 资源分配 · 故障恢复 · 弹性训练
集群调度
第18章
性能瓶颈定位方法论
自上而下 · 自下而上 · 热点分析 · 瓶颈树
方法论分析
第19章
性能基准测试
基准设计 · 标准化指标 · 对比分析 · 回归测试
基准测试
第20章
自动化性能分析
自动化Profiling · 智能瓶颈检测 · 性能预测 · 自适应调优
自动化AI
第21章
性能可视化与报告
火焰图 · 时间线图 · 仪表盘 · 报告生成
可视化报告
第22章
GPU硬件特性与性能
SM架构 · 内存层次 · Tensor Core · NVLink/NVSwitch
硬件架构
第23章
CPU-GPU协同优化
CPU预处理 · GPU计算 · 异步流水线 · 重叠执行
协同流水线
第24章
内存访问模式优化
合并访问 · 共享内存 · Bank冲突 · 缓存优化
内存优化
第25章
算子级性能优化
矩阵乘法 · 卷积 · 归一化 · 激活函数优化
算子底层
第26章
训练脚本性能优化
Python开销 · C++扩展 · CUDA Graph · TorchDynamo
脚本编译
第27章
性能调优案例
BERT · GPT · ResNet · ViT 调优实战
案例模型
第28章
性能监控与告警
实时监控 · 指标采集 · 告警阈值 · 自动恢复
监控运维
第29章
性能成本分析
GPU成本 · 电力成本 · 时间成本 · 性价比优化
成本经济
第30章
未来趋势与前沿
稀疏训练 · 量化训练 · 神经架构搜索 · AutoML
前沿趋势