VIP20
本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM连续批处理性能优化进阶

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM连续批处理性能优化的重要性
课程导入学习目标
02
连续批处理基础
连续批处理的概念 · 与传统批处理的区别 · 在vLLM中的实现原理
连续批处理基础连续批处理的概念
03
性能分析工具
使用Profiler · Tracing等工具分析vLLM性能…
性能分析工具Profiler
04
内存优化
KV Cache管理 · PagedAttention原理 · 内存池配置与优化
内存优化KV
05
调度策略
连续批处理的调度算法 · 优先级策略 · 动态批大小调整
调度策略连续批处理的调度…
06
模型优化
算子融合 · 量化技术（INT8/FP8） · 模型并行策略
模型优化算子融合
07
硬件适配
GPU特性利用 · 多GPU通信优化 · NUMA感知
硬件适配GPU
08
请求级优化
请求调度 · 超时处理 · 优先级队列实现
请求级优化请求调度
09
吞吐量优化
提高吞吐量的技巧 · 批量大小与延迟权衡
吞吐量优化提高吞吐量的技巧
10
延迟优化
降低首token延迟 · 优化解码阶段
延迟优化token
11
并发控制
并发请求管理 · 资源竞争避免 · 锁优化
并发控制并发请求管理
12
分布式部署
多节点部署 · 负载均衡 · 容错机制
分布式部署多节点部署
13
性能调优案例
真实场景下的性能问题定位与解决
性能调优案例真实场景下的性能…
14
基准测试
设计基准测试 · 评估指标（吞吐量 · 延迟）
基准测试设计基准测试
15
常见问题与解决方案
OOM · 死锁 · 性能抖动等
常见问题解决方案
16
高级特性
投机解码 · 前缀缓存 · 动态batching
高级特性投机解码
17
配置调优
vLLM关键配置参数详解与调优建议
配置调优vLLM
18
监控与告警
性能监控指标 · 日志分析 · 告警设置
监控告警
19
与推理框架集成
与Triton · TensorRT-LLM等对比与集成
推理框架集成Triton
20
模型服务化
部署为在线服务 · API设计 · 性能保障
模型服务化部署为
21
成本优化
资源利用率提升 · 成本控制策略
成本优化资源利用率提升
22
安全与稳定性
故障恢复 · 优雅降级 · 安全加固
安全稳定性
23
前沿趋势
连续批处理的最新研究 · 未来发展方向
前沿趋势连续批处理的最新…
24
综合实战
从零搭建一个高性能vLLM服务并优化
综合实战vLLM
25
性能调优方法论
系统化调优流程 · 实验设计 · 结果分析
性能调优方法论系统化调优流程
26
多模型管理
多模型共存 · 模型切换 · 资源隔离
多模型管理多模型共存
27
长序列处理
长上下文优化 · 位置编码 · 内存管理
长序列处理长上下文优化
28
批处理与流式处理
流式输出优化 · 批处理与流式结合
批处理流式处理
29
性能回归测试
自动化性能测试 · 持续集成中的性能保障
性能回归测试自动化性能测试
30
课程总结
核心要点回顾 · 学习路径建议 · 进阶资源推荐
课程总结核心要点回顾