VIP19
本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM动态批处理与吞吐最大化技巧

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM简介与动态批处理的重要性
课程导入学习目标
02
基础概念
LLM推理中的批处理 · 吞吐量 · 延迟
基础概念LLM
03
vLLM核心机制
PagedAttention · Continuous Batchin… · 调度器工作原理
vLLM核心机制
04
环境搭建
安装vLLM · 配置GPU环境 · 验证安装
环境搭建vLLM
05
快速上手
使用vLLM运行第一个推理请求 · 观察批处理效果
快速上手vLLM
06
动态批处理原理
请求队列 · 批处理窗口 · 抢占与调度策略
动态批处理原理请求队列
07
吞吐量度量
Tokens/s · Requests/s · 吞吐量计算与基准测试方法
吞吐量度量Tokens/s
08
性能调优参数
max_num_seqs · max_num_batched_to… · gpu_memory_utiliza…
性能调优参数max
09
内存管理
KV Cache优化 · PagedAttention内存分配…
内存管理KV
10
并发控制
并发请求数 · 批大小与吞吐量的关系
并发控制并发请求数
11
调度策略
FCFS · 优先级调度 · 抢占机制
调度策略FCFS
12
动态批处理与静态批处理对比
优势与适用场景
动态批处理静态批处理对比
13
案例实战
使用vLLM部署GPT模型并压测吞吐…
案例实战vLLM
14
性能分析工具
使用vLLM内置metrics · Profiler分析瓶颈
性能分析工具vLLM
15
常见问题
OOM · 请求超时 · 批处理效率低下原因排查
常见问题OOM
16
优化技巧
调整批大小 · 使用投机解码 · 量化模型提升吞吐
优化技巧调整批大小
17
多模型部署
多模型共享GPU资源时的动态批处理配…
多模型部署GPU
18
与推理框架集成
vLLM与Hugging Face · Triton等集成
推理框架集成vLLM
19
生产环境部署
Docker · Kubernetes · 负载均衡与自动扩缩容
生产环境部署Docker
20
监控与日志
监控吞吐量 · 延迟 · 资源利用率
监控日志
21
高级特性
Prefix Caching · Chunked Prefill · Splitwise等
高级特性Prefix
22
性能对比实验
vLLM与其他推理框架（如Tenso…
性能对比实验vLLM
23
案例实战
优化一个真实应用的吞吐量 · 从基线到提升
案例实战优化一个真实应用…
24
常见误区
过度增大批大小 · 忽略内存限制等
常见误区过度增大批大小
25
调优方法论
系统化调优流程 · 从测量到改进
调优方法论系统化调优流程
26
综合项目
构建一个高吞吐推理服务 · 处理混合请求
综合项目构建一个高吞吐推…
27
前沿进展
动态批处理的最新研究与应用
前沿进展动态批处理的最新…
28
课程总结
核心要点回顾 · 学习路径建议
课程总结核心要点回顾
29
实战考核
完成一个吞吐优化任务并提交报告
实战考核完成一个吞吐优化…
30
拓展资源
推荐阅读 · 社区 · 工具链
拓展资源推荐阅读