01
算子吞吐压测概述
什么是算子吞吐、为什么需要压测、核心指标（吞吐量、延迟、显存占用）
概念指标
02
压测环境搭建
硬件选型（GPU/CPU）、软件栈配置（CUDA、PyTorch/TF）、Docker环境
环境CUDA
03
基准测试工具介绍
nvprof、Nsight Systems、PyTorch Profiler、TF Profiler对比
工具Profiler
04
编写第一个压测脚本
PyTorch实现矩阵乘法算子压测，记录耗时与吞吐
实战脚本
05
理解吞吐与延迟的关系
QPS与延迟权衡、P99延迟的重要性
原理延迟
06
批处理对吞吐的影响
不同batch size吞吐曲线、找到最优batch size
Batch调优
07
算子融合与吞吐优化
算子融合策略（Conv+BN+ReLU）、融合前后吞吐对比
融合优化
08
混合精度训练压测
FP16/FP32/BF16吞吐差异、AMP自动混合精度压测
混合精度AMP
09
显存瓶颈分析
监控显存占用、泄漏排查、显存与吞吐trade-off
显存瓶颈
10
多卡并行压测
Data/Model/Pipeline Parallelism吞吐对比
多卡并行
11
CPU vs GPU吞吐对比
相同算子不同硬件吞吐差异、何时用CPU
CPUGPU
12
IO瓶颈对吞吐的影响
DataLoader优化、prefetch与num_workers调优
IO数据加载
13
算子计算强度分析
计算密集型 vs 访存密集型、Roofline模型简介
计算强度Roofline
14
自定义算子的压测
自定义CUDA Kernel吞吐测试、C++ Extension
自定义CUDA
15
压测结果的可视化
Matplotlib/Seaborn绘制吞吐曲线、生成报告
可视化报告
16
自动化压测框架设计
可复用脚本、参数化配置、结果自动归档
自动化框架
17
压测中的常见陷阱
冷启动、warm-up重要性、测量误差控制
陷阱warm-up
18
Attention算子的压测
Self-Attention、Cross-Attention、FlashAttention效果
AttentionFlash
19
卷积算子的压测
im2col、Winograd、FFT卷积算法吞吐对比
卷积算法
20
激活函数算子的压测
ReLU、Sigmoid、GELU、Swish吞吐差异
激活函数对比
21
归一化算子的压测
BatchNorm、LayerNorm、GroupNorm、RMSNorm对比
归一化Norm
22
池化算子的压测
MaxPool、AvgPool、AdaptivePool吞吐特性
池化Pool
23
Embedding算子的压测
稀疏Embedding vs Dense Embedding吞吐差异
Embedding稀疏
24
Loss算子的压测
CrossEntropyLoss、MSELoss、BCEWithLogitsLoss对比
Loss对比
25
优化器算子的压测
SGD、Adam、AdamW、LAMB吞吐与显存开销
优化器显存
26
序列化算子的压测
Reshape、Transpose、Permute、Squeeze吞吐特性
序列化形状
27
动态Shape对吞吐的影响
静态Shape vs 动态Shape、padding策略
动态Shapepadding
28
压测报告的撰写
分析压测数据、定位瓶颈、给出优化建议
报告分析
29
生产环境压测实践
在线推理压测、SLA保障、灰度发布前流程
生产SLA
30
算子吞吐压测的未来趋势
编译器优化（XLA/TorchDynamo）、硬件加速、量化推理前景
趋势编译器