VIP20
本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多模型vLLM批处理调度策略与性能实操

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · vLLM简介与多模型批处理的应用场景
课程导入学习目标
02
环境搭建
安装vLLM · 配置GPU环境 · 验证安装
环境搭建vLLM
03
vLLM基础
核心概念（如PagedAttenti… · Continuous Batchin… · 基本用法
vLLMPagedAttenti
04
多模型管理
加载多个模型 · 模型注册与切换
多模型管理加载多个模型
05
批处理原理
批处理调度策略（如FCFS · SJF · 优先级调度）概述
批处理原理FCFS
06
vLLM调度机制
vLLM的调度器工作原理 · 请求队列管理
vLLM调度机制
07
性能指标
吞吐量 · 延迟 · GPU利用率等关键指标定义
性能指标吞吐量
08
性能分析工具
使用vLLM内置指标 · Profiling工具
性能分析工具vLLM
09
批处理参数调优
max_num_seqs · max_num_batched_to…
批处理参数调优max
10
多模型批处理挑战
显存管理 · 模型切换开销 · 资源分配
多模型批处理挑战显存管理
11
调度策略对比
不同调度策略（如FCFS · SJF · 优先级）的优缺点
调度策略对比FCFS
12
实现自定义调度
扩展vLLM调度器实现自定义策略
实现自定义调度vLLM
13
案例实战
单模型批处理性能优化
案例实战单模型批处理性能…
14
案例实战
多模型混合批处理性能优化
案例实战多模型混合批处理…
15
性能调优技巧
减少延迟 · 提高吞吐量的实用技巧
性能调优技巧减少延迟
16
常见问题与解决方案
OOM · 请求超时 · 模型加载失败等
常见问题解决方案
17
监控与日志
日志分析 · 监控指标可视化
监控日志
18
高级特性
抢占 · 优先级队列 · 动态批处理
高级特性抢占
19
多机多卡部署
分布式批处理调度
多机多卡部署分布式批处理调度
20
与Kubernetes集成
在K8s中部署多模型vLLM服务
Kubernetes集成
21
性能基准测试
设计基准测试 · 对比不同配置
性能基准测试设计基准测试
22
模型量化与批处理
量化对批处理性能的影响
模型量化批处理
23
推理优化
使用vLLM的优化选项（如--use…
推理优化vLLM
24
实战项目
构建一个多模型推理服务
实战项目构建一个多模型推…
25
实战项目
实现一个简单的调度策略并评估
实战项目实现一个简单的调…
26
性能瓶颈分析
定位CPU/GPU瓶颈 · 内存带宽
性能瓶颈分析CPU/GPU
27
调优案例
从实际案例中学习调优方法
调优案例从实际案例
28
综合练习
综合运用所学优化一个多模型批处理系统
综合练习综合运用所学优化…
29
课程总结
核心要点回顾 · 学习路径建议
课程总结核心要点回顾
30
结课测试
综合测试题 · 项目答辩
结课测试综合测试题