01
压测基础
什么是服务压测、核心目标（吞吐量、延迟、并发），AI服务中的重要性
概念AI
02
压测工具选型
wrk/ab/Locust/JMeter对比，AI推理服务工具选择
对比选型
03
压测环境搭建
Linux环境准备、Python虚拟环境、依赖安装
环境Linux
04
wrk实战
安装、参数(-t,-c,-d)、压测HTTP服务并解读结果
wrk实战
05
Locust入门
安装、HttpUser/task/@task、启动Web UI
Locust入门
06
Locust进阶
自定义等待、参数化、关联响应、分布式压测
进阶分布式
07
JMeter基础
安装、线程组、取样器、监听器、压测REST API
JMeter基础
08
JMeter进阶
CSV参数化、断言、定时器、分布式配置
进阶参数化
09
压测指标详解
QPS/TPS、P50/P95/P99延迟、错误率、并发、资源利用率
指标延迟
10
压测场景设计
负载/压力/稳定性/尖峰测试区别与设计方法
场景设计
11
压测数据采集
Python采集CPU/内存/网络/磁盘IO
采集Python
12
GPU显存监控基础
NVIDIA-SMI详解、显存/GPU利用率、温度监控
GPU显存
13
nvitop工具
安装、实时多卡显存、进程级占用查看
nvitop实时
14
dcgm-exporter
部署DCGM、Prometheus采集、Grafana可视化
DCGMGrafana
15
Python监控库pynvml
获取显存总量/已用/进程信息，编写监控脚本
pynvml脚本
16
显存泄漏检测
显存泄漏概念、torch.cuda.memory_summary()、常见模式
泄漏PyTorch
17
显存优化技巧
梯度检查点、混合精度、batch size调优、碎片整理
优化显存
18
压测与监控联动
压测脚本嵌入显存监控，实时记录显存变化曲线
联动监控
19
压测报告生成
Python生成HTML报告，含延迟/吞吐/显存图表
报告HTML
20
压测自动化
Shell脚本一键启动压测、采集数据、生成报告
自动化Shell
21
CI/CD集成压测
GitLab CI/GitHub Actions集成、性能阈值设置
CI/CD阈值
22
压测结果分析
定位性能瓶颈：CPU vs GPU vs 网络
分析瓶颈
23
常见压测问题排查
连接超时、内存溢出、Too Many Open Files、端口耗尽
排查问题
24
AI推理服务压测实战
Triton Inference Server部署模型、编写压测脚本
Triton推理
25
AI训练任务压测
模拟多并发训练、显存分配释放、显存争抢分析
训练并发
26
压测数据持久化
写入InfluxDB、Grafana实时仪表盘
InfluxDBGrafana
27
压测安全与规范
压测前备份、熔断机制、压测后清理、避免影响线上
安全规范
28
压测案例1：Flask OCR
压测OCR服务，分析显存与延迟关系
案例OCR
29
压测案例2：vLLM LLM
压测vLLM推理服务，监控显存碎片与吞吐
vLLMLLM
30
压测总结与最佳实践
压测流程SOP、监控体系、团队协作、持续优化
总结最佳实践