VIP20
本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

PagedAttention机制深度解析

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
背景与动机
Transformer模型中的注意力…
背景动机
03
KV Cache基础
什么是KV Cache · 如何存储和利用
KVCache
04
显存管理挑战
KV Cache带来的显存碎片化 · 浪费和容量限制
显存管理挑战KV
05
PagedAttention核心思想
借鉴操作系统虚拟内存分页思想管理KV…
PagedAttenti…核心思想
06
逻辑与物理块
逻辑块与物理块的映射 · 块表的作用
逻辑物理块
07
块分配与释放
动态分配和释放物理块 · 减少显存浪费
块分配释放
08
块内存储布局
每个块内KV向量的组织方式 · 块大小选择
块内存储布局KV
09
注意力计算流程
基于分页的注意力计算步骤 · 与标准注意力对比
注意力计算流程基于分页的注意力…
10
并行处理支持
多序列批处理中的分页机制 · 提高吞吐量
并行处理支持多序列批处理
11
显存效率分析
PagedAttention如何减少… · 提高显存利用率
显存效率分析PagedAttenti…
12
吞吐量提升
相比传统方法的吞吐量提升原理和量化结…
吞吐量提升相比传统方法的吞…
13
系统设计
vLLM中的PagedAttenti…
系统设计vLLM
14
调度与抢占
连续批处理中的调度策略和抢占机制
调度抢占
15
前缀共享
多个序列共享前缀时的块共享技术
前缀共享多个序列共享前缀…
16
写时复制机制
处理共享块时的写时复制策略
写时复制机制处理共享块时的写…
17
代码实现
PagedAttention核心数据…
代码实现PagedAttenti…
18
性能调优
块大小 · 预分配策略等参数对性能的影响
性能调优块大小
19
与其他优化对比
与FlashAttention · 稀疏注意力等方法的比较
其他优化对比FlashAttenti…
20
应用场景
在LLM推理 · 长文本生成 · 多轮对话中的应用
应用场景LLM
21
常见问题与解决
显存不足 · 性能下降 · 兼容性问题
常见问题解决
22
实验分析
通过实验数据展示PagedAtten…
实验分析PagedAtten
23
扩展与变体
PagedAttention的改进版…
扩展变体
24
工程实践
在vLLM中部署PagedAtten…
工程实践vLLM
25
案例实战
使用vLLM实现高吞吐LLM服务
案例实战vLLM
26
综合练习
设计一个基于PagedAttenti…
综合练习PagedAttenti
27
课程总结
核心要点回顾 · 学习路径建议
课程总结核心要点回顾
28
进阶阅读
相关论文 · 开源项目 · 社区资源
进阶阅读相关论文
29
考试与评估
理论测试和实战项目评估
考试评估
30
结课项目
构建一个完整的LLM推理服务并优化性…
结课项目LLM