所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

vLLM大模型推理部署与性能优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程适用人群 · vLLM在LLM推理生态中的定位与价…
课程导入学习目标
02
大模型推理基础
Transformer架构回顾 · 自回归生成原理 · KV Cache机制
大模型推理基础Transformer
03
推理性能瓶颈分析
显存带宽 · 计算密度 · 延迟与吞吐量指标
推理性能瓶颈分析显存带宽
04
vLLM核心概念
PagedAttention原理 · KV Cache分页管理 · 连续批处理（Continuous B…
vLLM核心概念
05
环境搭建与安装
硬件要求（GPU · CPU · 内存）
环境搭建安装
06
快速上手
使用vLLM加载主流模型（如Llam… · Qwen · Mistral）
快速上手vLLM
07
模型加载与配置
模型格式（safetensors · GGUF） · 量化配置（AWQ
模型加载配置
08
推理引擎API详解
LLM类与AsyncLLMEngin… · 采样参数（temperature · top_p
API推理引擎
09
服务化部署
兼容API服务器启动 · 客户端调用 · 并发请求处理
服务化部署
10
性能评估方法
延迟（首延迟 · 每延迟） · 吞吐量（tokens/s）
性能评估方法
11
批处理优化
动态批处理策略 · 最大批大小调优 · 请求调度算法
批处理优化动态批处理策略
12
KV Cache优化
PagedAttention内存管理… · 块大小选择 · 缓存复用策略
KVCache
13
量化技术实战
AWQ与量化流程 · FP8与INT8量化对比 · 量化对精度与性能的影响
量化技术实战AWQ
14
并行计算策略
张量并行（TP）配置 · 流水线并行（PP）配置 · 数据并行与推理并行的区别
并行计算策略TP
15
投机解码实战
投机解码原理 · 草稿模型选择 · vLLM中启用投机解码
投机解码实战投机解码原理
16
长序列处理
长上下文窗口的内存挑战 · RoPE与位置编码 · vLLM对长序列的支持
长序列处理长上下文窗口的内…
17
多模态模型支持
vLLM对视觉语言模型（如LLaVA… · 图像输入处理 · 多模态推理性能优化
多模态模型支持vLLM
18
LoRA与适配器部署
vLLM对LoRA的支持 · 多LoRA动态加载 · 适配器切换
LoRA适配器部署
19
生产环境部署
Docker与Kubernetes部… · GPU资源调度 · 自动扩缩容
生产环境部署Docker
20
监控与日志
Prometheus指标暴露 · Grafana可视化 · 日志收集与分析
监控日志
21
常见问题排查
OOM错误处理 · CUDA错误 · 模型加载失败
常见问题排查OOM
22
性能调优实战案例
以Llama-7B为例 · 从默认配置到优化配置的完整调优过程 · 记录延迟与吞吐量变化
性能调优实战案例Llama-7B
23
多模型混合部署
在同一vLLM实例中部署多个模型 · 模型路由策略 · 资源隔离与共享
多模型混合部署vLLM
24
与推理框架对比
vLLM vs TensorRT-L… · 性能 · 易用性
推理框架对比vLLM
25
高级特性
Prefix Caching · Chunked Prefill · Automatic Prefix C…
高级特性Prefix
26
安全与稳定性
输入过滤 · 输出安全 · 速率限制
安全稳定性
27
成本优化
GPU选型建议 · 混合精度与量化成本收益分析 · 按需部署与spot实例
成本优化GPU
28
综合实战项目
构建一个高并发 · 低延迟的聊天机器人推理服务 · 包含性能测试
综合实战项目构建一个高并发
29
前沿趋势与扩展
vLLM最新特性 · 与Ray集成 · 分布式推理
前沿趋势扩展
30
课程总结与进阶路径
核心知识点回顾 · 常见误区总结 · 推荐学习资源
课程总结进阶路径