VIP19
本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多GPU场景下vLLM吞吐均衡调优实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
课程背景 · 学习目标 · 适用人群
课程导入课程背景
02
vLLM基础
vLLM架构 · 核心特性 · 与常见推理框架对比
vLLM架构
03
多GPU部署基础
多GPU环境配置 · CUDA与NCCL基础 · 分布式推理概念
GPU部署基础
04
吞吐量指标
吞吐量定义 · 衡量指标（tokens/s · requests/s）
吞吐量指标吞吐量定义
05
负载均衡原理
负载均衡概念 · 静态与动态负载均衡 · vLLM中的负载均衡机制
负载均衡原理负载均衡概念
06
数据并行与张量并行
数据并行 · 张量并行 · 流水线并行原理及在vLLM中的应用
数据并行张量并行
07
vLLM多GPU推理模式
vLLM支持的并行模式（PP · TP · DP）
vLLMGPU
08
吞吐瓶颈分析
常见瓶颈（计算 · 内存 · 通信
吞吐瓶颈分析常见瓶颈
09
性能监控与剖析
使用nvidia-smi · nsys · vLLM日志等监控GPU利用率
性能监控剖析
10
批量大小调优
动态批处理 · 最大批大小 · 批大小对吞吐的影响
批量大小调优动态批处理
11
连续批处理
连续批处理原理 · vLLM实现 · 如何提升吞吐
连续批处理连续批处理原理
12
KV Cache优化
KV Cache机制 · 显存管理 · PagedAttention
KVCache
13
模型并行配置
张量并行度设置 · 流水线并行度设置 · 并行度对吞吐的影响
模型并行配置张量并行度设置
14
通信优化
NCCL配置 · 通信量减少 · 梯度/激活压缩
通信优化NCCL
15
负载不均衡问题
GPU利用率不均 · 负载不均衡原因 · 检测方法
负载不均衡问题GPU
16
动态负载均衡策略
请求调度算法（轮询 · 最少连接 · 基于负载）
动态负载均衡策略请求调度算法
17
请求调度优化
优先级队列 · 抢占策略 · 请求超时处理
请求调度优化优先级队列
18
案例实战
单机多卡部署vLLM并调优吞吐（如8…
案例实战vLLM
19
案例实战
多机多卡部署vLLM并调优吞吐（如2…
案例实战vLLM
20
常见问题与解决
OOM · 通信超时 · 性能下降
常见问题解决
21
性能调优工具
vLLM内置工具 · 第三方工具（如Prometheus · Grafana）集成
性能调优工具vLLM
22
高级调优技巧
量化 · 剪枝 · 蒸馏对吞吐的影响
高级调优技巧量化
23
混合并行策略
结合TP · PP · DP的最优配置选择
混合并行策略TP
24
自动调优方法
使用AutoTuner · 网格搜索 · 贝叶斯优化
自动调优方法AutoTuner
25
生产环境最佳实践
部署架构 · 高可用 · 弹性伸缩
生产环境最佳实践部署架构
26
性能对比实验
不同配置下的吞吐对比 · 结果分析
性能对比实验不同配置下的吞吐…
27
综合实战项目
从零搭建多GPU vLLM服务并达到…
综合实战项目GPU
28
课程总结
核心要点回顾 · 调优方法论总结
课程总结核心要点回顾
29
拓展学习
vLLM最新特性 · 社区资源 · 论文推荐
拓展学习vLLM
30
结课测试
综合测试题 · 实战任务评估
结课测试综合测试题