VIP20
本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型vLLM长序列推理加速技巧

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 长序列推理的挑战与vLLM简介
课程导入学习目标
02
Transformer基础
注意力机制 · 自回归生成 · KV Cache原理
Transformer注意力机制
03
长序列推理瓶颈
内存瓶颈 · 计算瓶颈 · 延迟与吞吐量权衡
长序列推理瓶颈内存瓶颈
04
vLLM核心架构
PagedAttention · KV Cache管理 · 连续批处理
vLLM核心架构
05
环境搭建
安装vLLM · 配置GPU环境 · 验证安装
环境搭建vLLM
06
基础使用
加载模型 · 生成文本 · 设置max_length与tempe…
基础使用加载模型
07
性能评估
衡量指标（延迟 · 吞吐量 · 内存占用）
性能评估衡量指标
08
PagedAttention深入
内存分页机制 · 减少碎片 · 提高显存利用率
PagedAttenti…深入
09
连续批处理
动态批处理 · 抢占与调度 · 提高GPU利用率
连续批处理动态批处理
10
长序列优化
位置编码外推 · RoPE · ALiBi等技巧
长序列优化位置编码外推
11
模型并行
张量并行 · 流水线并行 · 序列并行在vLLM中的应用
模型并行张量并行
12
量化加速
INT8/INT4量化 · GPTQ/AWQ在vLLM中的集成
量化加速INT8/INT4
13
投机解码
推测解码 · 草稿模型 · 加速生成
投机解码推测解码
14
前缀缓存
共享前缀 · 缓存复用 · 多轮对话优化
前缀缓存共享前缀
15
长上下文窗口
扩展上下文 · 稀疏注意力 · 滑动窗口
长上下文窗口扩展上下文
16
案例实战
使用vLLM部署ChatGLM3-6…
案例实战vLLM
17
案例实战
使用vLLM加速Llama2-70B…
案例实战vLLM
18
性能调优
调整批大小 · 并发数 · 内存分配策略
性能调优调整批大小
19
监控与调试
日志分析 · 性能剖析 · 常见错误排查
监控调试
20
常见问题
OOM · 生成质量下降 · 速度慢的解决方案
常见问题OOM
21
对比分析
vLLM与HF Transforme… · TensorRT-LLM的性能对比
对比分析vLLM
22
高级特性
LoRA适配 · 多模态模型支持 · 流式输出
高级特性LoRA
23
分布式部署
多节点推理 · 负载均衡 · 高可用架构
分布式部署多节点推理
24
安全与合规
内容过滤 · 隐私保护 · 模型安全
安全合规
25
综合实战
构建一个长序列问答系统
综合实战构建一个长序列问…
26
综合实战
实现一个长文档摘要工具
综合实战实现一个长文档摘…
27
综合实战
优化一个长序列生成服务
综合实战优化一个长序列生…
28
前沿进展
vLLM最新特性 · 长序列推理研究趋势
前沿进展vLLM
29
项目实践
从零搭建一个基于vLLM的推理服务
项目实践vLLM
30
课程总结
核心要点回顾 · 学习路径建议 · 拓展资源推荐
课程总结核心要点回顾