VIP19

本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

vLLM推理引擎调度参数精调实战

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · vLLM在LLM推理中的地位与作用

课程导入学习目标

vLLM基础架构

核心组件 · 推理流程 · 与常见推理框架的对比

vLLM基础架构

调度系统概述

调度器的作用 · 调度策略分类 · 与推理性能的关系

调度系统概述调度器的作用

连续批处理机制

原理 · 优势 · 与传统静态批处理的区别

连续批处理机制原理

PagedAttention原理

显存管理 · KV Cache分页 · 对长序列的支持

PagedAttenti…原理

调度参数总览

常用调度参数 · 参数分类 · 影响性能的关键维度

调度参数总览常用调度参数

max_num_seqs参数

含义 · 对吞吐量和延迟的影响 · 调优方法

max_num_batched_tokens参数

作用 · 与批处理大小的关系 · 设置策略

max_paddings参数

用途 · 对显存利用率和性能的影响

gpu_memory_utilization参数

显存分配比例 · 如何平衡KV Cache与模型权重

block_size参数

KV Cache块大小 · 对显存碎片和调度效率的影响

swap_space参数

CPU内存交换空间 · 对长序列和并发的影响

调度策略选择

FCFS · SJF · 优先级调度等

调度策略选择FCFS

抢占与恢复机制

抢占策略 · 恢复开销 · 如何减少性能损失

抢占恢复机制

动态批处理与队列管理

请求队列 · 批处理窗口 · 动态调整策略

动态批处理队列管理

性能指标解读

吞吐量 · 延迟 · TTFT

性能指标解读吞吐量

基准测试方法

使用vLLM自带benchmark工… · 设计测试场景 · 分析结果

基准测试方法vLLM

参数调优方法论

单参数实验 · 多参数联合调优 · 基于目标优化

参数调优方法论单参数实验

在线服务场景下的调度参数调优 · 降低延迟

案例实战线服务场景下的调…

离线批处理场景下的吞吐量最大化

案例实战离线批处理场景下…

长序列生成场景下的显存优化与调度调整

案例实战长序列生成场景下…

高并发场景下的稳定性与性能平衡

案例实战高并发场景下的稳…

常见问题与解决

OOM · 请求超时 · 调度延迟高等问题的排查与修复

常见问题解决

监控与日志分析

利用vLLM日志和监控指标诊断调度瓶…

监控日志分析

与硬件协同调优

GPU型号 · 显存大小 · CPU内存对调度参数的影响

硬件协同调优GPU

多模型部署与调度

多模型共享资源 · 调度隔离与优先级设置

多模型部署调度

自动并行 · 张量并行与调度参数的交互

高级特性自动并行

构建一个完整的推理服务 · 从配置到调优的全流程

综合实战构建一个完整的推…

性能优化进阶

结合量化 · 投机采样等技术进一步提升效率

性能优化进阶结合量化

核心要点回顾 · 调优经验总结 · 未来发展趋势

课程总结核心要点回顾