VIP8
本课程属于：013-vLLM大模型推理工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

从零上手vLLM大模型推理部署

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用人群 · 课程整体框架与实战项目预览
课程导入学习目标
02
大模型推理基础
Transformer架构 · 自回归生成 · KV Cache原理与显存瓶颈
大模型推理基础Transformer
03
推理部署挑战
高延迟 · 低吞吐 · 显存爆炸
推理部署挑战高延迟
04
vLLM初识
vLLM是什么 · 核心特性（PagedAttentio… · Continuous Batchin…
vLLM初识
05
环境准备
Python环境 · CUDA/cuDNN · GPU驱动
环境准备Python
06
安装vLLM
pip安装 · 源码编译 · Docker镜像使用
vLLM安装
07
模型下载与转换
Hugging Face模型下载 · 模型格式（safetensors · bin）
模型下载转换
08
第一个推理示例
使用vLLM加载或Llam… · 完成文本生成
第一个推理示例vLLM
09
vLLM核心API详解
LLM类 · SamplingParams · generate方法
vLLMAPI
10
离线批量推理
批量处理文本 · 性能基准测试 · 吞吐量优化
离线批量推理批量处理文本
11
在线服务部署
启动兼容API服务器 · curl调用 · Python客户端调用
线服务部署
12
服务参数调优
--host · --port · --model
服务参数调优host
13
量化与低精度推理
FP16 · INT8 · INT4量化原理
量化低精度推理
14
多GPU推理
张量并行 · 流水线并行 · 数据并行在vLLM中的配置与性能提升
GPU推理
15
PagedAttention深入
显存管理机制 · KV Cache分页 · 对长序列的支持
PagedAttenti…深入
16
Continuous Batching
动态批处理原理 · 调度策略 · 对吞吐的影响
ContinuousBatching
17
模型服务化最佳实践
使用FastAPI封装vLLM · 自定义请求/响应格式
模型服务化最佳实…FastAPI
18
与LangChain集成
将vLLM作为LLM后端 · 构建RAG或Agent应用
LangChain集成
19
与 SDK兼容
使用库调用vLLM服务 · 实现无缝迁移
SDK
20
性能监控与调优
使用Prometheus/Grafa… · 延迟 · 吞吐
性能监控调优
21
常见问题排查
OOM · CUDA error · 模型加载失败
常见问题排查OOM
22
安全与稳定性
并发控制 · 超时设置 · 错误重试
安全稳定性
23
生产环境部署
使用Docker Compose · Kubernetes部署vLLM服务 · 实现弹性伸缩
生产环境部署Docker
24
实战项目一
部署Llama 3 8B模型 · 提供兼容API · 并完成压力测试
实战项目一Llama
25
实战项目二
部署Qwen 7B模型 · 集成到简单聊天机器人中
实战项目二Qwen
26
实战项目三
使用vLLM部署Embedding模… · 构建向量检索服务
实战项目三vLLM
27
实战项目四
多模型管理 · 使用vLLM同时服务多个模型 · 实现路由与切换
实战项目四多模型管理
28
高级特性
Prefix Caching · LoRA适配器加载 · 多模态模型支持（如LLaVA）
高级特性Prefix
29
性能对比实验
vLLM vs Hugging Fa… · 量化吞吐与延迟
性能对比实验vLLM
30
课程总结与进阶方向
回顾核心技能 · 推荐学习资源 · 探讨vLLM未来发展与社区生态
课程总结进阶方向