VIP20
本课程属于：006 vLLM AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多GPU环境下vLLM分布式部署实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 多GPU分布式部署的价值与挑战
课程导入学习目标
02
vLLM基础
vLLM核心特性 · PagedAttention原理 · 与HuggingFace Trans…
vLLM核心特性
03
环境准备
CUDA · cuDNN · PyTorch
环境准备CUDA
04
单GPU部署入门
使用vLLM在单卡上启动LLM服务 · 验证推理正确性
GPU部署入门
05
多GPU架构概述
数据并行 · 张量并行 · 流水线并行的概念与适用场景
GPU架构概述
06
vLLM分布式核心
张量并行（TP）与流水线并行（PP）…
vLLM分布式核心
07
多GPU部署配置
vLLM命令行参数（--tensor… · --pipeline-paralle…
GPU部署配置
08
启动多GPU服务
使用vLLM在2卡 · 4卡 · 8卡环境下的启动命令与验证方法
GPU启动多
09
模型加载与分片
大模型权重在多GPU间的自动切分与加…
模型加载分片
10
性能基准测试
使用vLLM内置benchmark工… · 延迟与显存占用
性能基准测试vLLM
11
推理优化技巧
连续批处理 · 投机解码 · KV缓存复用等高级优化
推理优化技巧连续批处理
12
多节点部署
跨节点分布式部署的配置 · 网络要求与注意事项
多节点部署跨节点分布式部署…
13
容器化部署
使用Docker和Kubernete…
容器化部署Docker
14
与推理框架集成
将vLLM接入FastAPI · Triton或Ray Serve
推理框架集成vLLM
15
动态批处理与调度
vLLM的调度策略 · 最大并发数设置与队列管理
动态批处理调度
16
显存管理
多GPU显存分配 · OOM处理 · KV缓存大小调整
显存管理GPU
17
模型量化与多GPU
AWQ · GPTQ等量化方法在多GPU下的部署…
GPU模型量化
18
LoRA/微调模型部署
多GPU环境下加载和部署LoRA适配…
LoRA微调模型部署
19
高可用与容错
多GPU服务故障转移 · 健康检查与自动重启
高可用容错
20
监控与日志
使用Prometheus · Grafana监控多GPU推理服务的…
监控日志
21
安全与权限
多用户访问控制 · API密钥管理 · 网络隔离
安全权限
22
常见问题排查
多GPU部署中的通信错误 · 显存不足 · 版本冲突等故障解决
常见问题排查GPU
23
性能调优实战
针对特定模型（如Llama 3 70…
性能调优实战Llama
24
案例实战
在8卡A100上部署GPT-3 17…
案例实战A100
25
案例实战
使用vLLM部署多模态模型（如LLa…
案例实战vLLM
26
案例实战
构建基于vLLM的RAG系统 · 多GPU加速检索增强生成
案例实战vLLM
27
成本与资源规划
多GPU部署的硬件选型 · 云服务选择与成本估算
成本资源规划
28
与现有系统集成
将多GPU vLLM服务集成到企业级…
现有系统集成GPU
29
综合实战项目
从零搭建一个支持多GPU的vLLM推… · 并完成压力测试
综合实战项目GPU
30
课程总结与进阶
回顾关键知识点 · 常见误区 · 未来发展方向与学习资源推荐
课程总结进阶