VIP20
本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM调度器架构与任务优先级详解

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM调度器在LLM推理中的重要性
课程导入学习目标
02
vLLM概述
vLLM的基本概念 · 核心特性 · 与常见推理框架的对比
vLLM的基本概念
03
调度器基础
调度器的定义 · 作用 · 在vLLM中的位置
调度器基础调度器的定义
04
调度器架构总览
调度器的主要组件 · 模块划分 · 整体工作流程
调度器架构总览调度器的主要组件
05
请求队列管理
请求的接收 · 排队 · 状态管理
请求队列管理请求的接收
06
任务优先级基础
优先级的概念 · 为什么需要优先级 · 优先级与QoS
任务优先级基础优先级的概念
07
优先级策略设计
常见的优先级策略（如FIFO · 最短作业优先 · 公平调度等）
优先级策略设计FIFO
08
vLLM中的优先级实现
vLLM如何实现任务优先级 · 相关数据结构
vLLM优先级实现
09
调度算法详解
vLLM使用的调度算法（如连续批处理 · 抢占式调度等）
调度算法详解vLLM
10
连续批处理机制
连续批处理的工作原理 · 如何提高吞吐量
连续批处理机制连续批处理的工作…
11
抢占与恢复
抢占的条件 · 如何保存和恢复状态
抢占恢复
12
内存管理
KV cache的管理 · 内存池 · 显存优化
内存管理KV
13
调度与内存的交互
调度决策如何影响内存使用 · 内存限制下的调度
调度内存的交互
14
多模型与多租户调度
多模型场景下的调度策略 · 资源隔离
多模型多租户调度
15
动态优先级调整
如何根据实时负载调整优先级 · 自适应调度
动态优先级调整如何根据实时负载…
16
调度器配置与调优
关键配置参数 · 性能调优技巧
调度器配置调优
17
监控与观测
调度器指标 · 日志 · 性能分析
监控观测
18
案例实战
使用vLLM部署服务并观察调度行为
案例实战vLLM
19
案例实战
配置优先级策略并测试效果
案例实战配置优先级策略并…
20
案例实战
模拟高并发场景下的调度性能
案例实战模拟高并发场景下…
21
常见问题与解决方案
调度延迟 · 饥饿 · 死锁等
常见问题解决方案
22
性能对比
vLLM与其他推理框架的调度性能对比
性能对比vLLM
23
扩展与定制
如何扩展调度器 · 自定义优先级策略
扩展定制
24
与分布式推理的结合
分布式环境下的调度挑战与解决方案
分布式推理的结合分布式环境下的调…
25
安全与稳定性
调度器的容错 · 异常处理
安全稳定性
26
最佳实践
生产环境中的调度配置建议
最佳实践生产环境
27
综合项目
构建一个基于vLLM的推理服务并优化…
综合项目vLLM
28
前沿进展
vLLM调度器的最新改进 · 研究趋势
前沿进展vLLM
29
课程总结
核心要点回顾 · 学习路径建议
课程总结核心要点回顾
30
综合测试
综合应用题 · 检验学习成果
综合测试综合应用题