VIP19
本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM批处理参数调优实战手册

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
vLLM基础
vLLM简介 · 安装配置 · 基本推理流程
vLLM简介
03
批处理参数概览
常用批处理参数及其作用
批处理参数概览常用批处理参数
04
吞吐量与延迟权衡
理解吞吐量和延迟的关系及调优目标
吞吐量延迟权衡
05
max_num_seqs参数
作用 · 影响及调优方法
maxnum
06
max_num_batched_tokens参数
作用 · 影响及调优方法
maxnum
07
max_paddings参数
作用 · 影响及调优方法
maxpaddings
08
调度策略
连续批处理与动态批处理原理
调度策略连续批处理
09
内存管理
KV cache与显存优化
内存管理KV
10
性能监控
使用vLLM内置指标监控性能
性能监控vLLM
11
基准测试
使用vLLM benchmark工具…
基准测试vLLM
12
参数组合调优
多参数联合调整策略
参数组合调优多参数联合调整策…
13
案例实战
文本生成场景批处理参数调优
案例实战文本生成场景批处…
14
案例实战
对话场景批处理参数调优
案例实战对话场景批处理参…
15
案例实战
代码生成场景批处理参数调优
案例实战代码生成场景批处…
16
常见问题
OOM错误分析与解决
常见问题OOM
17
常见问题
请求排队延迟优化
常见问题请求排队延迟优化
18
常见问题
吞吐量瓶颈排查
常见问题吞吐量瓶颈排查
19
高级技巧
动态调整批处理参数
高级技巧动态调整批处理参…
20
高级技巧
与模型并行结合调优
高级技巧模型并行结合调优
21
高级技巧
使用PagedAttention优化…
高级技巧PagedAttenti…
22
配置最佳实践
不同硬件环境下的推荐配置
配置最佳实践不同硬件环境下的…
23
配置最佳实践
不同模型规模下的推荐配置
配置最佳实践不同模型规模下的…
24
配置最佳实践
不同负载类型下的推荐配置
配置最佳实践不同负载类型下的…
25
调优流程
从分析需求到参数选择的系统方法
调优流程从分析需求到参数…
26
调优流程
实验设计与结果评估
调优流程实验设计
27
调优流程
迭代优化与回归测试
调优流程迭代优化
28
综合实战
构建一个完整的调优项目
综合实战构建一个完整的调…
29
综合提升
结合其他优化技术（如量化 · 蒸馏）
综合提升结合其他优化技术
30
课程总结
核心要点回顾与进阶学习路径
课程总结核心要点回顾