VIP19
本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM缓存机制优化提升吞吐效率

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM缓存优化的重要性
课程导入学习目标
02
vLLM基础
vLLM架构 · 推理流程 · 吞吐量瓶颈分析
vLLM架构
03
缓存机制概述
KV Cache原理 · 缓存命中率 · 缓存与吞吐量的关系
缓存机制概述KV
04
PagedAttention
显存管理 · 分页机制 · 块大小选择
PagedAttenti…显存管理
05
缓存策略
前缀缓存 · 后缀缓存 · 语义缓存
缓存策略前缀缓存
06
缓存调度
缓存替换算法（LRU · LFU） · 缓存优先级
缓存调度LRU
07
缓存与批处理
动态批处理 · 连续批处理 · 缓存感知调度
缓存批处理
08
缓存优化配置
vLLM参数调优（如--block-… · --cache-dir）
缓存优化配置vLLM
09
缓存预热
预填充缓存 · 热点数据预热 · 预热策略
缓存预热预填充缓存
10
缓存持久化
磁盘缓存 · 内存映射 · 加载与保存
缓存持久化磁盘缓存
11
缓存一致性
多GPU缓存同步 · 分布式缓存
缓存一致性GPU
12
缓存监控
命中率监控 · 性能指标 · 日志分析
缓存监控率监控
13
性能分析工具
使用profiler定位缓存瓶颈
性能分析工具profiler
14
案例实战
基于vLLM的聊天机器人缓存优化
案例实战vLLM
15
案例实战
长文本生成场景的缓存优化
案例实战长文本生成场景的…
16
案例实战
高并发推理服务的缓存优化
案例实战高并发推理服务的…
17
常见问题
缓存失效 · 缓存污染 · 缓存抖动
常见问题缓存失效
18
常见问题
显存不足 · OOM · 缓存溢出
常见问题显存不足
19
常见问题
缓存与模型更新 · 动态推理
常见问题缓存
20
进阶技巧
量化与缓存结合 · 稀疏注意力
进阶技巧量化
21
进阶技巧
推测解码与缓存预取
进阶技巧推测解码
22
进阶技巧
多模型共享缓存
进阶技巧多模型共享缓存
23
系统集成
与Kubernetes · Docker集成
系统集成Kubernetes
24
云服务部署
在AWS/GCP上优化缓存
云服务部署AWS/GCP
25
性能对比
不同缓存策略的吞吐量对比实验
性能对比不同缓存策略的吞…
26
调优实战
通过实验找到最优缓存配置
调优实战通过实验找到最优…
27
综合项目
构建一个高吞吐的vLLM推理服务
综合项目vLLM
28
综合项目
缓存优化前后性能报告
综合项目缓存优化前后性能…
29
课程总结
核心要点回顾 · 最佳实践
课程总结核心要点回顾
30
课程展望
vLLM缓存优化未来趋势 · 学习资源
课程展望vLLM