VIP20
本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM推理系统架构速览

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM在LLM推理中的地位与价值
课程导入学习目标
02
LLM推理基础
Transformer架构 · 自回归生成 · KV Cache概念
LLM推理基础
03
vLLM核心特性
PagedAttention · Continuous Batchin… · 优化目标
vLLM核心特性
04
vLLM整体架构
请求处理流程 · 核心组件（LLMEngine · Scheduler
vLLM整体架构
05
PagedAttention原理
显存管理 · 分页机制 · 与传统注意力对比
PagedAttenti…原理
06
Continuous Batching
动态批处理 · 调度策略 · 吞吐量提升
ContinuousBatching
07
模型加载与初始化
模型注册 · 权重加载 · 设备配置
模型加载初始化
08
请求调度与执行
调度器工作流程 · 抢占与优先级
请求调度执行
09
KV Cache管理
块分配 · 释放 · 复用与显存优化
KVCache
10
推理引擎
LLMEngine与AsyncLLM…
推理引擎LLMEngine
11
采样与生成
温度 · top-k · top-p等采样参数实现
采样生成
12
并行策略
张量并行 · 流水线并行 · 数据并行在vLLM中的应用
并行策略张量并行
13
量化与精度
FP16 · INT8 · INT4等量化方式对推理的影响
量化精度
14
性能优化
算子融合 · 内核优化 · CUDA Graph等
性能优化算子融合
15
部署方式
单机多卡 · 多机多卡 · 容器化部署
部署方式单机多卡
16
API与接口
OpenAI兼容API · Python客户端 · RESTful API
API接口
17
配置与调优
常用参数 · 环境变量 · 性能调优技巧
配置调优
18
监控与日志
日志分析 · 性能指标 · 错误排查
监控日志
19
常见问题与解决方案
OOM · 延迟高 · 吞吐低等
常见问题解决方案
20
案例实战
使用vLLM部署一个开源模型（如Ll… · Qwen）
案例实战vLLM
21
案例实战
通过API调用vLLM服务并测试性能
案例实战API
22
案例实战
对比vLLM与其他推理框架（如TGI · FasterTransformer）…
案例实战vLLM
23
高级主题
投机解码 · 前缀缓存 · 多模态支持
高级主题投机解码
24
扩展与定制
自定义模型支持 · 自定义算子 · 插件机制
扩展定制
25
安全与稳定性
并发控制 · 错误恢复 · 资源隔离
安全稳定性
26
性能基准测试
使用Benchmark工具评估吞吐与…
性能基准测试Benchmark
27
生产环境最佳实践
高可用 · 弹性伸缩 · 负载均衡
生产环境最佳实践高可用
28
社区与生态
vLLM的贡献 · 相关项目 · 学习资源
社区生态
29
综合项目
构建一个完整的推理服务并优化
综合项目构建一个完整的推…
30
课程总结
核心要点回顾 · 学习路径建议 · 未来展望
课程总结核心要点回顾