01
吞吐压测概述
什么是吞吐压测、为什么需要吞吐压测、核心指标 (QPS/TPS/RT)
基础指标
02
显存基础
GPU显存架构、带宽与容量、分配与回收机制
GPU架构
03
显存峰值问题
峰值产生原因、对吞吐的影响、OOM典型场景
排查OOM
04
压测工具选型
wrk/ab/locust/JMeter对比 · GPU场景选择
工具对比
05
环境搭建
CUDA配置 · PyTorch/TF安装 · nvidia-smi/nvtop部署
环境监控
06
第一个压测脚本
Python HTTP压测 · GPU推理服务 · 基础吞吐采集
实战脚本
07
显存监控实战
nvidia-smi详解 · 实时监控 · 峰值记录方法
监控命令行
08
显存泄漏排查
常见原因 · memory_summary() · gc.collect & empty_cache
调试PyTorch
09
模型加载优化
懒加载 · 分片加载 · torch.jit.script加速
加载JIT
10
Batch Size 调优
Batch与显存 · 动态Batch · 梯度累积技巧
调参吞吐
11
数据加载优化
DataLoader调优 · pin_memory · prefetch_factor
IO加速
12
混合精度训练
AMP原理 · torch.cuda.amp · FP16/BF16对比
精度加速
13
梯度检查点
原理 · torch.utils.checkpoint · 显存与计算权衡
显存计算
14
显存碎片化处理
碎片原因 · CUDA内存池 · PYTORCH_CUDA_ALLOC_CONF
内存配置
15
模型量化
动态/静态/QAT量化 · 量化对吞吐的影响
压缩推理
16
模型剪枝
结构化/非结构化剪枝 · 微调 · 显存节省效果
剪枝稀疏
17
知识蒸馏
教师-学生模型 · 蒸馏损失 · 吞吐提升
蒸馏小型化
18
多进程推理
多进程部署 · 显存共享 · 进程池管理
并发进程
19
异步推理
异步框架 · Future模式 · 回调 · 吞吐提升
异步高吞吐
20
请求排队与限流
队列设计 · 令牌桶/漏桶 · 背压机制
限流稳定性
21
显存复用技术
显存池 · 张量复用 · in-place操作
复用优化
22
模型服务化
Triton部署 · 动态批处理 · 模型并发
服务Triton
23
Kubernetes GPU调度
K8s GPU管理 · 显存限制 · 共享方案
K8s调度
24
压测报告分析
吞吐曲线 · 显存峰值 · 瓶颈定位
分析调优
25
常见问题与解决方案
OOM · 吞吐抖动 · 泄漏 · 加载慢
FAQ排查
26
性能调优案例一
NLP模型显存优化 · BERT推理优化
NLPBERT
27
性能调优案例二
CV模型显存优化 · ResNet推理优化
CVResNet
28
性能调优案例三
推荐系统模型 · DeepFM推理优化
推荐DeepFM
29
自动化压测平台
脚本自动化 · 监控可视化 · 告警机制
平台DevOps
30
课程总结与展望
显存优化技术总结 · 未来趋势 (显存压缩/稀疏计算)
总结趋势