VIP19
本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM模型加载与推理吞吐加速方案

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM在LLM推理中的定位与优势
课程导入学习目标
02
环境搭建
安装vLLM · 配置GPU驱动与CUDA · 验证安装
环境搭建vLLM
03
模型加载基础
Hugging Face模型下载 · 模型格式（safetensors · bin）
模型加载基础Hugging
04
vLLM核心概念
LLMEngine · SamplingParams · 请求调度
vLLM核心概念
05
PagedAttention原理
显存管理 · KV Cache分页 · 减少显存浪费
PagedAttenti…原理
06
吞吐量优化
连续批处理 · 动态批大小 · 抢占与调度策略
吞吐量优化连续批处理
07
模型量化
AWQ · GPTQ · FP8量化在vLLM中的应用与效果
模型量化AWQ
08
张量并行与流水线并行
多GPU推理配置 · 模型分片 · 通信优化
张量并行流水线并行
09
推理参数调优
温度 · top_p · max_tokens等对吞吐的影响
推理参数调优温度
10
性能基准测试
使用vLLM内置benchmark工… · 评估吞吐与延迟
性能基准测试vLLM
11
常见问题排查
OOM · 加载失败 · 推理错误等诊断与解决
常见问题排查OOM
12
案例实战
使用vLLM部署GPT-3模型并优化…
案例实战vLLM
13
案例实战
使用vLLM部署Llama-2-70…
案例实战vLLM
14
案例实战
量化模型在vLLM中的加载与推理
案例实战vLLM
15
案例实战
高并发场景下vLLM的吞吐优化
案例实战vLLM
16
与Hugging Face Transformers对比
性能差异 · 使用场景
HuggingFace
17
与TGI、TensorRT-LLM对比
架构 · 性能 · 易用性
TGITensorRT-LLM
18
vLLM的API使用
REST API · Python API · 流式输出
vLLMAPI
19
vLLM的扩展
自定义模型支持 · 自定义算子
vLLM的扩展
20
vLLM的部署
Docker部署 · Kubernetes部署 · 云服务
vLLM的部署
21
监控与日志
性能监控 · 日志分析 · 故障恢复
监控日志
22
安全与隐私
模型保护 · 输入过滤 · 输出审查
安全隐私
23
最新特性
vLLM新版本功能 · 社区动态
最新特性vLLM
24
综合项目
构建一个基于vLLM的聊天机器人服务
综合项目vLLM
25
综合项目
实现一个支持多模型的推理平台
综合项目实现一个支持多模…
26
综合项目
优化一个现有推理服务的吞吐量
综合项目优化一个现有推理…
27
性能调优进阶
内核融合 · 算子优化 · CUDA图
性能调优进阶内核融合
28
显存优化
KV Cache量化 · 内存池管理 · 模型卸载
显存优化KV
29
故障演练
模拟GPU故障 · 网络故障 · 负载高峰
故障演练GPU
30
课程总结
核心要点回顾 · 学习路径建议 · 未来展望
课程总结核心要点回顾