VIP20

本课程属于：017-Nsight AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

吞吐压测与显存优化全流程

📚 共计 30 章节

吞吐压测基础

什么是吞吐量、QPS/TPS概念、压测核心指标（延迟、并发、成功率）

压测工具选型

wrk、ab、Locust、JMeter对比，如何根据场景选择工具

安装wrk、编写Lua脚本、压测HTTP接口、解读压测报告

安装Locust、编写压测脚本、Web UI模式运行、分布式压测

Locust分布式

安装JMeter、创建测试计划、配置线程组、添加监听器、命令行压测

JMeter测试计划

压测场景设计

单接口压测、混合场景、阶梯加压、稳定性压测

压测数据采集

系统资源监控(CPU/内存/IO/网络)、应用层指标(GC/线程池/连接池)

压测结果分析

吞吐量曲线解读、响应时间分布、P99/P999延迟、瓶颈定位

常见性能瓶颈

CPU瓶颈、内存瓶颈、IO瓶颈、锁竞争、网络延迟

显存优化基础

GPU架构简介、显存带宽与容量、CUDA内存层次结构

PyTorch显存管理

torch.cuda机制、显存分配与释放、empty_cache()

显存分析工具

nvidia-smi详解、memory_summary()、py-spy、nsys profile

原理与实现、batch size与梯度累积关系、代码示例

混合精度训练

FP16/FP32原理、AMP使用、损失缩放

梯度检查点

原理(时间换空间)、torch.utils.checkpoint、适用场景

checkpoint显存

张量并行(Megatron-LM)、流水线并行(GPipe)、1D/2D并行

DDP原理、DDP vs DP、梯度同步策略

DDP数据并行

ZeRO-Stage1/2/3原理、DeepSpeed集成、显存节省效果

Flash Attention

原理(分块计算、重计算)、与标准Attention对比、使用方式

Attention加速

显存碎片化

碎片产生原因、CUDA内存池、Pytorch缓存分配器、碎片整理

INT8/INT4量化原理、PTQ、QAT量化感知训练

结构化/非结构化剪枝、torch.prune、剪枝后微调

剪枝torch.prune

教师-学生模型、蒸馏损失函数、温度参数调优

ONNX导出优化、TensorRT部署、vLLM推理框架

Kubernetes资源管理

GPU资源调度、Pod资源限制、节点亲和性调度

压测与优化结合

先压测找瓶颈、再针对性优化、最后复测验证

案例实战1：LLM推理

大语言模型推理压测与显存优化 (vLLM + Flash Attention + 量化)

案例实战2：图像分类

训练压测与显存优化 (DDP + 混合精度 + 梯度检查点)

案例实战3：推荐系统

在线服务压测与优化 (Locust + 模型并行 + 推理优化)

总结与最佳实践

压测与优化流程总结、常见问题FAQ、学习资源推荐