VIP19
本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

生产环境vLLM吞吐压测与优化笔记

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM在生产环境中的重要性
课程导入学习目标
02
vLLM基础
vLLM架构 · 核心特性 · 与常见推理框架的对比
vLLM架构
03
环境准备
硬件要求 · 软件依赖 · 部署方式（Docker/K8s）
环境准备硬件要求
04
模型加载与配置
模型格式 · 加载参数 · 量化选项
模型加载配置
05
吞吐量指标
定义QPS · TPS · 延迟
吞吐量指标QPS
06
压测工具选型
wrk · hey · locust
压测工具选型wrk
07
压测环境搭建
测试数据集 · 请求构造 · 负载生成
压测环境搭建测试数据集
08
单机压测实践
单GPU/多GPU场景下的吞吐量测试
单机压测实践GPU
09
分布式压测
多节点部署 · 负载均衡 · 结果聚合
分布式压测多节点部署
10
性能监控
利用Prometheus · Grafana监控vLLM指标
性能监控Prometheus
11
瓶颈分析
CPU · GPU · 内存
瓶颈分析CPU
12
优化策略
批处理大小 · 并发数 · KV Cache优化
优化策略批处理大小
13
模型优化
量化 · 剪枝 · 蒸馏对吞吐的影响
模型优化量化
14
推理引擎调优
vLLM参数（如--max-num-…
推理引擎调优vLLM
15
请求调度优化
连续批处理 · 抢占策略 · 优先级
请求调度优化连续批处理
16
缓存优化
Prefix Caching · RadixAttention等
缓存优化Prefix
17
GPU优化
CUDA图 · TensorRT · 算子融合
GPU优化
18
内存优化
PagedAttention · KV Cache管理
内存优化PagedAttenti…
19
网络优化
gRPC · HTTP/2 · 连接池
网络优化gRPC
20
案例实战
某业务场景的压测与优化全过程
案例实战某业务场景的压测
21
常见问题
OOM · 超时 · 吞吐骤降等排查
常见问题OOM
22
性能调优工具
nsys · ncu · py-spy等
性能调优工具nsys
23
自动化压测
CI/CD集成 · 回归测试
自动化压测CI/CD
24
容量规划
根据业务需求预估资源
容量规划根据业务需求预估…
25
成本优化
吞吐与成本的平衡
成本优化吞吐
26
安全与稳定性
压测对生产的影响 · 限流
安全稳定性
27
最佳实践
总结生产环境压测与优化经验
最佳实践总结生产环境压测
28
进阶主题
vLLM与推理服务网格 · 弹性伸缩
进阶主题vLLM
29
综合项目
设计并执行一次完整压测与优化
综合项目设计并执行一次完…
30
课程总结
核心要点回顾 · 学习路径建议
课程总结核心要点回顾