VIP20
本课程属于：006 vLLM AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM性能基准测试与调优报告

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
vLLM性能基准测试与调优的价值 · 学习目标 · 课程整体框架与适用人群
课程导入vLLM
02
vLLM基础架构
vLLM的核心组件 · PagedAttention原理 · KV Cache管理
vLLM基础架构
03
性能基准测试概念
吞吐量 · 延迟 · 首Token延迟
性能基准测试概念吞吐量
04
基准测试工具与框架
常用工具如vLLM benchmar… · LLMPerf · lm-evaluation-harn…
基准测试工具框架
05
测试环境搭建
硬件选型（GPU · CPU · 内存
测试环境搭建GPU
06
基准测试数据集与场景设计
真实负载模拟 · 不同序列长度 · 并发数
基准测试数据集场景设计
07
基准测试执行流程
从编写测试脚本 · 运行基准 · 收集日志到结果解析的完整步骤
基准测试执行流程从编写测试脚本
08
性能指标解读
如何分析吞吐量-延迟曲线 · P50/P95/P99延迟 · 资源利用率
性能指标解读如何分析吞吐量
09
vLLM配置参数详解
max_num_seqs · max_model_len · gpu_memory_utiliza…
vLLM配置参数详解
10
模型与硬件匹配
不同模型规模（7B/13B/70B）…
模型硬件匹配
11
批处理与调度优化
连续批处理 · 抢占策略 · 动态批大小
批处理调度优化
12
KV Cache优化
PagedAttention调优 · cache块大小 · 预分配策略
KVCache
13
量化技术应用
FP8/INT8/INT4量化对吞吐… · 以及vLLM中的量化配置
量化技术应用FP8/INT8/INT…
14
并行与分布式推理
张量并行 · 流水线并行 · 数据并行的配置与性能对比
并行分布式推理
15
前缀缓存与提示复用
自动前缀缓存（prefix cach… · 命中率优化 · 对长Prompt场景的加速
前缀缓存提示复用
16
性能调优方法论
从基准测试结果出发 · 系统化定位瓶颈 · 制定调优策略
性能调优方法论从基准测试结果出…
17
内存管理调优
GPU显存分配 · CPU内存交换 · swap空间设置
内存管理调优GPU
18
网络与I/O优化
数据加载 · tokenizer性能 · 请求队列
I/O网络
19
常见性能陷阱
过度批处理 · 显存碎片 · 调度开销
常见性能陷阱过度批处理
20
实战案例一
单GPU上对Llama-3-8B进行… · 从默认配置到最优配置的完整过程
实战案例一GPU
21
实战案例二
多GPU张量并行部署70B模型 · 测试不同并行度下的扩展效率与调优
实战案例二GPU
22
实战案例三
高并发在线服务场景 · 优化TTFT和TPOT · 满足SLA要求
实战案例三高并发
23
实战案例四
长文档摘要任务 · 利用前缀缓存和KV cache优化提…
实战案例四长文档摘要任务
24
性能对比实验
vLLM与TGI · FasterTransformer等… · 分析差异原因
性能对比实验vLLM
25
监控与可观测性
使用Prometheus · Grafana · vLLM内置metrics监控性能指…
监控可观测性
26
自动化基准测试
编写CI脚本 · 参数扫描 · 结果可视化
自动化基准测试CI
27
调优决策树
根据业务需求（吞吐优先/延迟优先/成…
调优决策树根据业务需求
28
常见问题FAQ
OOM · 性能波动 · GPU利用率低
FAQ常见问题
29
综合实战项目
从零开始为一个生产级LLM服务设计基… · 执行调优并输出报告
综合实战项目LLM
30
课程总结与进阶
回顾核心知识点 · 推荐学习资源 · 探讨vLLM未来性能优化方向（如投机…
课程总结进阶