VIP20

本课程属于：001-大模型推理部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

KV缓存优化加速推理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Transformer自注意力机制回顾 · KV缓存核心思想 · 为什么需要KV缓存 · 计算流程拆解

自注意力缓存思想

KV缓存的内存布局

Key/Value存储结构 · 序列与头维度组织 · 内存对齐与访问模式 · 缓存生命周期

内存结构对齐

PagedAttention原理

传统内存碎片 · PagedAttention设计 · 逻辑页与物理页映射 · vLLM实现机制

连续批处理与KV缓存

动态批处理概念 · In-flight缓存管理 · 调度策略影响 · 吞吐量与延迟权衡

批处理调度

KV缓存量化技术

INT8/FP8量化原理 · 精度影响 · QAT与PTQ · 混合精度策略

量化混合精度

KV缓存稀疏化

注意力稀疏性 · Top-k稀疏化 · 阈值剪枝 · 长序列影响

KV缓存共享与复用

前缀缓存 · 跨请求复用 · 系统级共享 · 一致性维护

前缀缓存复用

KV缓存的硬件优化

GPU显存层次 · HBM与SRAM · Tensor Core · NVLink多GPU一致性

KV缓存的软件优化

CUDA Graph · 异步预取 · 内存池 · 零拷贝技术

KV缓存与推测解码

推测解码原理 · KV加速推测 · 树形注意力 · 投机验证开销

推测解码树注意力

KV缓存与长上下文推理

长上下文挑战 · 窗口注意力 · ALiBi/RoPE · 位置编码缓存

长上下文RoPE

KV缓存与多模态模型

视觉Token缓存 · 跨模态注意力 · 图文混合推理 · 视频缓存挑战

多模态视觉

KV缓存与MoE模型

专家路由影响 · 共享/独立专家缓存 · 负载均衡 · MoE缓存优化

KV缓存与流式输出

流式缓存管理 · 逐Token更新 · 低延迟策略 · WebSocket交互

流式低延迟

KV缓存与分布式推理

张量并行分片 · 流水线传递 · 数据并行复制 · 一致性协议

分布式并行

KV缓存与模型压缩

剪枝影响 · 蒸馏缓存特性 · 低秩分解 · 压缩后适配

KV缓存与推理框架

vLLM缓存架构 · TGI实现 · TensorRT-LLM · llama.cpp策略

KV缓存性能分析工具

Profiling工具 · 命中率分析 · 带宽瓶颈 · 可视化分析

KV缓存与安全

侧信道攻击 · 隐私泄露 · 安全隔离 · 加密缓存

KV缓存与边缘部署

显存限制 · 量化+稀疏化 · 模型分片 · 端侧缓存策略

KV缓存与动态形状

动态序列挑战 · 动态分配 · Padding优化 · 可变长批处理

动态形状Padding

KV缓存与注意力变体

FlashAttention · MQA缓存优势 · GQA · Sliding Window

KV缓存与预填充阶段

预填充计算特性 · 与解码差异 · 并行策略 · 缓存预热

预填充预热

KV缓存与解码阶段

自回归依赖 · 访存模式 · 延迟优化 · 缓存预取

解码自回归

KV缓存与内存管理

显存分配 · 碎片整理 · 虚拟内存 · 内存池化

内存管理池化

KV缓存与调度策略

FCFS缓存效率 · SJF复用 · 优先级调度 · 公平调度

KV缓存与模型微调

微调影响 · LoRA缓存 · Prefix Tuning · 微调适配

KV缓存与推理服务

服务化架构 · 多租户隔离 · 预热冷启动 · 弹性伸缩

服务多租户

KV缓存与未来趋势

非Transformer缓存 · 神经缓存 · 硬件协同 · AGI

KV缓存综合实战

端到端系统搭建 · 缓存优化实战 · 性能调优 · 最佳实践