VIP20
本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM部署环境配置与依赖详解

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM简介及其在LLM推理中的重要…
课程导入学习目标
02
环境准备
操作系统要求 · Python版本选择 · 虚拟环境创建与激活
环境准备操作系统要求
03
硬件要求
GPU型号与显存需求 · CPU与内存配置 · 多卡环境考虑
硬件要求GPU
04
CUDA与驱动安装
CUDA版本选择 · NVIDIA驱动安装与验证 · 兼容性检查
CUDA驱动安装
05
cuDNN安装
cuDNN版本匹配 · 安装步骤 · 环境变量配置
cuDNN安装
06
PyTorch安装
PyTorch版本选择 · CUDA对应版本安装 · 验证安装
PyTorch安装
07
vLLM安装
pip安装 · 源码编译安装 · 安装验证
vLLM安装
08
依赖包详解
核心依赖（如transformers · tokenizers） · 版本要求
依赖包详解transformers
09
模型下载与缓存
Hugging Face模型下载 · 本地缓存设置 · 离线使用
模型下载缓存
10
配置文件解析
vLLM配置文件格式 · 常用参数说明 · 示例配置
配置文件解析vLLM
11
环境变量设置
常用环境变量（如CUDA_VISIB… · 设置方法 · 作用
环境变量设置CUDA
12
性能优化配置
批处理大小 · 并发数 · 内存优化参数
性能优化配置批处理大小
13
多GPU部署
张量并行 · 数据并行 · 流水线并行配置
GPU部署
14
量化支持
量化方法（如GPTQ · AWQ） · 量化模型加载
量化支持GPTQ
15
常见错误与解决
CUDA错误 · 内存不足 · 依赖冲突等
常见错误解决
16
日志与调试
日志级别设置 · 调试技巧 · 性能分析
日志调试
17
安全与权限
容器化部署 · 权限设置 · 网络安全
安全权限
18
容器化部署
Docker镜像构建 · Docker Compose配置 · Kubernetes部署
容器化部署Docker
19
云环境部署
AWS · GCP · Azure上的部署要点
云环境部署AWS
20
案例实战
从零部署一个LLM服务（如Llama…
案例实战LLM
21
案例实战
部署OpenAI兼容API服务
案例实战OpenAI
22
案例实战
部署聊天模型（如ChatGLM）
案例实战ChatGLM
23
案例实战
部署代码生成模型（如CodeLlam…
案例实战CodeLlam
24
性能测试
吞吐量 · 延迟 · 并发测试方法
性能测试吞吐量
25
监控与运维
监控指标 · 日志收集 · 自动扩缩容
监控运维
26
常见问题汇总
安装失败 · 运行报错 · 性能瓶颈
常见问题汇总安装失败
27
高级主题
vLLM与LangChain集成 · 与FastAPI集成
高级主题vLLM
28
综合实战
构建一个完整的推理服务并优化
综合实战构建一个完整的推…
29
课程总结
关键点回顾 · 最佳实践 · 学习路径建议
课程总结关键点回顾
30
结课测试
综合测试题 · 实战任务 · 评估标准
结课测试综合测试题