VIP20

本课程属于：026-CUDA内存拷贝 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

吞吐压测与显存峰值优化实战

📚 共计 30 章节

吞吐压测基础

什么是吞吐量、QPS/TPS概念、压测的核心指标（延迟、并发、成功率）

核心概念指标

压测工具选型

wrk、ab、JMeter、Locust、Vegeta的对比与选择

工具对比选型

安装wrk、编写Lua脚本、压测一个HTTP接口、解读压测报告

线程组配置、HTTP请求默认值、监听器（聚合报告、图形结果）、参数化

JMeter监听器

安装Locust、编写User类、设置等待时间、Web UI与无头模式运行

压测环境搭建

隔离环境、网络带宽检查、CPU/内存/磁盘监控（dstat、htop、iostat）

压测数据采集

Prometheus + Grafana监控压测过程中的系统指标

PrometheusGrafana

压测结果分析

吞吐量拐点、响应时间分布（P50/P90/P99）、错误率分析

分位数拐点

压测报告编写

报告结构、图表选择（折线图、柱状图、热力图）、结论撰写

可视化报告

GPU显存架构（HBM/GDDR）、显存带宽、显存容量与模型大小的关系

PyTorch显存管理

torch.cuda API、显存分配策略、缓存分配器（Caching Allocator）

显存峰值分析工具

nvidia-smi、gpustat、py-spy、torch.cuda.memory_summary()

模型显存占用计算

参数显存、梯度显存、优化器状态显存、中间激活显存

梯度检查点

原理、实现方式、时间与空间的权衡

Gradient Checkpoint

混合精度训练 (AMP)

FP16/BF16原理、torch.cuda.amp使用、损失缩放

ZeRO-1/2/3原理、DeepSpeed集成、显存节省效果对比

张量并行、流水线并行、1D/2D并行策略

数据并行 (DDP)

DDP原理、梯度同步开销、与ZeRO的结合

显存碎片化

碎片产生原因、torch.cuda.empty_cache()、显存池管理

碎片池管理

显存监控与告警

自定义显存监控脚本、设置告警阈值、日志记录

大模型推理显存优化

KV Cache、PageAttention（vLLM）、Continuous Batching

INT8/INT4量化原理、GPTQ/AWQ量化工具、量化后显存变化

模型剪枝与蒸馏

结构化剪枝、知识蒸馏、对显存的影响

Flash Attention

原理、显存节省效果、在HuggingFace中的使用

模型参数卸载到CPU、Accelerate库的使用、性能影响

OffloadAccelerate

分布式训练显存优化

FSDP（Fully Sharded Data Parallel）原理与配置

显存泄漏排查

常见泄漏场景、torch.cuda.memory._dump_snapshot()、调试技巧

吞吐与显存联合优化

batch size调优、梯度累积、动态显存分配

生产环境压测案例

某推荐系统压测全流程、显存峰值优化前后对比

课程总结与进阶

学习路径推荐、开源项目（DeepSpeed、Megatron-LM、vLLM）介绍