VIP19
本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM与PagedAttention吞吐优化深度解析

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM与PagedAttentio…
课程导入学习目标
02
LLM推理基础
Transformer解码器架构 · 自回归生成 · KV Cache的概念与作用
LLM推理基础
03
传统推理系统的瓶颈
显存管理 · KV Cache的显存浪费 · 批处理效率低下的原因
传统推理系统的瓶…显存管理
04
PagedAttention核心思想
虚拟内存分页 · KV Cache分块管理 · 按需分配与回收
PagedAttenti…核心思想
05
PagedAttention实现细节
块表（Block Table） · 块大小选择 · 注意力计算与分页的融合
PagedAttenti…实现细节
06
vLLM系统架构
调度器 · 执行器 · 分布式推理支持
vLLM系统架构
07
连续批处理（Continuous Batching）
动态批处理 · 请求级调度 · 提高GPU利用率
ContinuousBatching
08
吞吐量优化策略
抢占与恢复 · 并行采样 · beam search的优化
吞吐量优化策略抢占
09
显存管理优化
显存池 · 块分配策略 · 碎片整理与显存复用
显存管理优化显存池
10
性能评估指标
吞吐量 · 延迟 · 显存占用
性能评估指标吞吐量
11
环境搭建与工具
安装vLLM · 配置GPU环境 · 使用基准测试工具
环境搭建工具
12
快速上手
使用vLLM运行LLM推理 · 对比原生推理的吞吐差异
快速上手vLLM
13
代码解析
vLLM源码结构 · PagedAttention核心代码…
代码解析vLLM
14
案例实战
使用vLLM部署GPT模型 · 调整参数优化吞吐
案例实战vLLM
15
案例实战
多请求并发场景下的吞吐测试与调优
案例实战多请求并发场景下…
16
案例实战
长序列生成时的显存优化与性能分析
案例实战长序列生成时的显…
17
常见问题
显存不足 · OOM · 批处理大小设置不当的解决方法
常见问题显存不足
18
常见问题
与HuggingFace Trans… · 模型兼容性问题
常见问题HuggingFace
19
常见问题
分布式推理中的通信瓶颈与负载均衡
常见问题分布式推理
20
高级主题
Prefix Caching · 投机解码（Speculative D…
高级主题Prefix
21
高级主题
量化与低精度推理对吞吐的影响
高级主题量化
22
高级主题
vLLM与TensorRT-LLM · FasterTransformer的…
高级主题vLLM
23
性能调优实战
分析性能瓶颈 · 使用profiling工具定位问题
性能调优实战分析性能瓶颈
24
性能调优实战
调整调度参数 · 块大小 · 批处理策略以最大化吞吐
性能调优实战调整调度参数
25
性能调优实战
多GPU环境下的吞吐扩展性测试
性能调优实战GPU
26
综合项目
构建一个高吞吐的LLM服务 · 集成vLLM与API
综合项目LLM
27
综合项目
实现动态批处理与优先级调度 · 优化服务响应时间
综合项目实现动态批处理
28
综合项目
对比不同推理框架的吞吐与延迟 · 撰写分析报告
综合项目对比不同推理框架…
29
课程总结
核心知识点回顾 · 学习路径建议 · 未来发展趋势
课程总结核心知识点回顾
30
结业测试
综合测验与实战考核 · 检验学习成果
结业测试综合测验