01
性能剖析基础
什么是性能瓶颈 · 为什么需要性能剖析 · 黄金法则
入门核心
02
系统监控工具
top/htop · nvidia-smi · iostat · vmstat · netstat 实战
工具运维
03
CPU瓶颈定位
CPU使用率分析 · 上下文切换 · 中断处理 · 负载均衡
CPU性能
04
内存瓶颈定位
内存带宽 · 内存泄漏 · 缓存命中率 · NUMA架构影响
内存NUMA
05
IO瓶颈定位
磁盘IOPS · 吞吐量 · IO等待 · 文件系统优化
存储IO
06
网络瓶颈定位
带宽利用率 · 延迟 · 丢包 · TCP重传
网络TCP
07
GPU瓶颈定位
GPU利用率 · 显存带宽 · CUDA核心 · SM占用率
GPUCUDA
08
PyTorch Profiler
torch.profiler 使用 · trace分析 · 内存分析
PyTorchProfiler
09
TensorFlow Profiler
tf.profiler 使用 · op分析 · 模型分析
TensorFlowProfiler
10
数据加载瓶颈
DataLoader优化 · prefetch · num_workers调优
数据加载
11
数据预处理瓶颈
数据增强 · 预处理流水线 · 缓存策略
预处理流水线
12
模型计算瓶颈
算子融合 · 算子替换 · 混合精度训练
计算算子
13
通信瓶颈
分布式训练AllReduce · 梯度同步 · 通信拓扑
分布式通信
14
显存瓶颈
显存占用分析 · 梯度检查点 · 激活重计算
显存检查点
15
批大小调优
批大小对吞吐量影响 · 学习率调整 · 收敛性分析
Batch调优
16
学习率调度瓶颈
学习率预热 · 余弦退火 · 循环学习率
学习率调度
17
梯度累积
梯度累积原理 · 步数选择 · 与批大小的关系
梯度累积
18
模型并行
模型并行策略 · 流水线并行 · 张量并行
并行模型
19
数据并行
数据并行原理 · 梯度同步 · 混合精度
数据并行DP
20
混合精度训练
FP16/BF16原理 · 损失缩放 · 精度影响
混合精度FP16
21
编译优化
torch.compile · XLA · TVM · TensorRT
编译加速
22
算子优化
手写CUDA算子 · 算子融合 · 算子库选择
CUDA算子
23
内存管理
内存池 · 内存碎片 · 显存复用
内存管理
24
异步执行
异步数据加载 · 异步梯度更新 · 异步推理
异步执行
25
性能基准测试
基准测试设计 · 指标选择 · 结果分析
基准测试
26
性能监控面板
Grafana · Prometheus · 自定义监控
监控面板
27
自动化性能分析
自动瓶颈检测 · 性能回归测试
自动化CI
28
大规模训练优化
集群调度 · 资源分配 · 任务编排
大规模集群
29
推理性能优化
模型量化 · 模型剪枝 · 知识蒸馏
推理量化
30
综合案例
从零开始优化一个BERT训练任务
实战BERT