VIP20
本课程属于：006 vLLM AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM批处理策略与吞吐量提升实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
vLLM简介 · 批处理与吞吐量的核心概念 · 课程目标与学习路径
课程导入vLLM
02
环境搭建与基础使用
安装vLLM · 配置GPU环境 · 运行第一个推理示例
环境搭建基础使用
03
批处理基础原理
连续批处理（Continuous B… · 与传统静态批处理的对比
批处理基础原理Continuous
04
吞吐量关键指标
Tokens/s · 请求延迟 · GPU利用率
吞吐量关键指标Tokens/s
05
vLLM核心参数解析
max_num_seqs · max_num_batched_to… · gpu_memory_utiliza…
vLLM核心参数解析
06
调度策略详解
FCFS · 优先级调度 · 抢占与排队机制对吞吐量的影响
调度策略详解FCFS
07
PagedAttention原理
显存管理如何支持高并发批处理 · 减少显存碎片
PagedAttenti…原理
08
动态批处理与请求合并
如何将多个请求动态合并为批次 · 提升吞吐量
动态批处理请求合并
09
批处理大小调优实验
不同batch size下的吞吐量与… · 寻找最优配置
批处理大小调优实…batch
10
并发请求模拟
使用wrk · locust或自建脚本模拟高并发 · 测试vLLM性能
并发请求模拟wrk
11
吞吐量瓶颈分析
CPU/GPU/内存/网络瓶颈的识别…
吞吐量瓶颈分析CPU/GPU
12
模型优化与批处理结合
量化 · 剪枝 · 蒸馏等技术如何进一步提升批处理效率
模型优化批处理结合
13
vLLM与推理加速库集成
使用TensorRT-LLM · FasterTransformer等…
vLLM推理加速库集成
14
多GPU与分布式批处理
张量并行 · 流水线并行 · 数据并行在vLLM中的配置与效果
GPU分布式批处理
15
批处理中的显存优化
KV Cache管理 · 显存池化 · 动态显存分配策略
批处理显存优化
16
请求级超时与优先级控制
如何设置超时 · 优先级队列 · 保证SLA
请求级超时优先级控制
17
批处理中的错误处理与重试机制
请求失败 · 超时 · OOM等异常场景的应对
批处理错误处理
18
监控与日志分析
使用Prometheus · Grafana监控vLLM运行状态 · 分析吞吐量变化
监控日志分析
19
性能基准测试
使用vLLM官方benchmark工… · 生成吞吐量报告
性能基准测试vLLM
20
案例实战
基于GPT-3或LLaMA模型 · 优化批处理配置 · 将吞吐量提升2倍
案例实战GPT-3
21
案例实战
混合工作负载（短请求+长请求）下的批…
案例实战混合工作负载
22
案例实战
在线服务场景中 · 如何平衡吞吐量与响应时间
案例实战线服务场景
23
常见问题与解决方案
显存不足 · 请求排队过长 · 吞吐量波动等问题的排查与修复
常见问题解决方案
24
vLLM与其他推理框架对比
对比HuggingFace TGI · Ray Serve等 · 分析批处理策略差异
vLLM其他推理框架对比
25
高级批处理技巧
投机解码 · 前缀缓存 · 并行采样等高级特性对吞吐量的影响
高级批处理技巧投机解码
26
成本与性能权衡
在云GPU环境下 · 如何根据成本优化批处理参数
成本性能权衡
27
自动化调参
使用Optuna或Ray Tune自…
自动化调参Optuna
28
生产环境部署
将优化后的vLLM服务部署到Kube… · 实现弹性伸缩
生产环境部署vLLM
29
综合实战项目
构建一个高吞吐量LLM推理服务 · 从配置 · 优化到压测全流程
综合实战项目LLM
30
课程总结与进阶方向
回顾核心知识点 · 展望vLLM未来特性与学习资源
课程总结进阶方向