VIP19
本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM吞吐瓶颈诊断与调优全流程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM吞吐性能的重要性
课程导入学习目标
02
vLLM基础架构
vLLM的核心组件 · 推理流程 · 关键性能指标
vLLM基础架构
03
吞吐量概念与度量
吞吐量定义 · 常用指标（tokens/s · requests/s）
吞吐量概念度量
04
性能分析工具
使用vLLM内置监控 · Profiling工具 · 系统级工具（如nvidia-smi
性能分析工具vLLM
05
瓶颈识别方法论
从系统资源 · 模型结构 · 推理配置等多维度定位瓶颈
瓶颈识别方法论从系统资源
06
GPU利用率分析
GPU计算利用率 · 显存带宽利用率 · SM占用率等指标解读
GPU利用率分析
07
显存瓶颈诊断
KV Cache显存占用 · 模型权重显存 · 激活显存分析
显存瓶颈诊断KV
08
CPU瓶颈诊断
CPU预处理 · 调度开销 · 数据加载对吞吐的影响
CPU瓶颈诊断
09
I/O瓶颈诊断
磁盘I/O · 网络I/O对数据加载和结果返回的影响
I/O瓶颈诊断
10
模型结构对吞吐的影响
模型大小 · 层数 · 注意力机制等对计算和显存的影响
模型结构对吞吐的…模型大小
11
批处理策略优化
动态批处理 · 连续批处理（Continuous B…
批处理策略优化动态批处理
12
PagedAttention机制
原理 · 显存管理优化 · 与吞吐的关系
PagedAttenti…机制
13
量化技术应用
INT8/FP8量化 · AWQ/GPTQ等量化方法对吞吐的提…
量化技术应用INT8/FP8
14
并行策略选择
张量并行 · 流水线并行 · 数据并行的适用场景与配置
并行策略选择张量并行
15
推理引擎配置调优
max_num_seqs · max_num_batched_to…
推理引擎配置调优max
16
调度器优化
调度策略 · 优先级队列 · 抢占机制对吞吐的影响
调度器优化调度策略
17
模型部署优化
使用TensorRT-LLM · ONNX Runtime等优化推理引…
模型部署优化TensorRT-LLM
18
缓存优化
KV Cache复用 · 前缀缓存（Prefix Cachin…
缓存优化KV
19
负载均衡与多实例部署
多GPU · 多节点部署时的吞吐扩展
负载均衡多实例部署
20
性能测试与基准
使用vLLM benchmark工具 · 自定义压测脚本进行吞吐测试
性能测试基准
21
案例实战
诊断一个典型低吞吐场景 · 逐步定位瓶颈
案例实战诊断一个典型低吞…
22
案例实战
通过调整批处理和量化参数提升吞吐
案例实战通过调整批处理
23
案例实战
多GPU环境下并行策略优化
案例实战GPU
24
常见问题与解决方案
OOM · 显存碎片 · CPU过载等
常见问题解决方案
25
监控与告警
设置性能监控指标 · 告警阈值 · 持续跟踪吞吐
监控告警
26
调优流程总结
从诊断到优化的系统化方法论
调优流程总结从诊断到优化的系…
27
高级主题
投机解码（Speculative D…
高级主题Speculative
28
高级主题
使用vLLM Serving框架进行…
高级主题vLLM
29
综合实战
设计一个高吞吐推理服务 · 从模型选择到部署调优
综合实战设计一个高吞吐推…
30
课程总结与展望
回顾关键点 · 探讨未来趋势（如稀疏注意力 · 动态形状）
课程总结回顾关键点