VIP20
本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多卡vLLM负载均衡诊断与调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 多卡vLLM负载均衡的重要性
课程导入学习目标
02
vLLM基础
vLLM架构 · 推理引擎 · 多卡部署模式
vLLM架构
03
负载均衡概念
负载均衡定义 · 在多卡推理中的意义 · 常见负载不均衡现象
负载均衡概念负载均衡定义
04
多卡通信机制
GPU间通信 · NCCL · 张量并行与流水线并行
多卡通信机制GPU
05
负载均衡诊断工具
nvidia-smi · nvtop · vLLM日志
负载均衡诊断工具nvidia-smi
06
性能指标解读
吞吐量 · 延迟 · GPU利用率
性能指标解读吞吐量
07
负载不均衡原因分析
模型并行策略 · 请求调度 · 显存分配
负载不均衡原因分…模型并行策略
08
请求调度机制
vLLM调度器 · 连续批处理 · 动态batching
请求调度机制vLLM
09
张量并行负载均衡
张量切分 · 通信开销 · 负载均衡策略
张量并行负载均衡张量切分
10
流水线并行负载均衡
微批次划分 · 流水线气泡 · 负载均衡优化
流水线并行负载均…微批次划分
11
显存管理
KV Cache分配 · 显存碎片 · 显存均衡
显存管理KV
12
数据并行与负载均衡
数据并行模式 · 负载均衡策略
数据并行负载均衡
13
案例实战
诊断一个多卡vLLM负载不均衡问题
案例实战vLLM
14
调优策略
调整并行配置 · 调度参数 · 显存分配
调优策略调整并行配置
15
动态负载均衡
自适应调度 · 在线调整
动态负载均衡自适应调度
16
常见问题与解决方案
GPU利用率不均 · 显存溢出 · 通信瓶颈
常见问题解决方案
17
性能测试方法
基准测试 · 压力测试 · 负载模拟
性能测试方法基准测试
18
监控与告警
实时监控 · 日志分析 · 告警设置
监控告警
19
调优案例分析
典型场景调优前后对比
调优案例分析典型场景调优前后…
20
高级调优
模型并行与数据并行结合 · 混合并行
高级调优模型并行
21
与推理框架集成
vLLM与Kubernetes · 容器化部署
推理框架集成vLLM
22
多机多卡负载均衡
跨节点通信 · 网络优化
多机多卡负载均衡跨节点通信
23
故障排查
常见故障 · 诊断流程 · 恢复策略
故障排查常见故障
24
性能优化工具
Profiling工具 · 火焰图 · 性能分析
性能优化工具Profiling
25
调优实践
动手调优一个多卡vLLM服务
调优实践vLLM
26
综合案例
大规模多卡vLLM集群负载均衡设计
综合案例vLLM
27
未来趋势
新硬件 · 新算法 · 负载均衡新挑战
未来趋势新硬件
28
课程总结
核心要点 · 学习路径 · 进一步学习资源
课程总结核心要点
29
实战项目
构建一个负载均衡诊断与调优工具
实战项目构建一个负载均衡…
30
结课测试
综合测试 · 评估学习成果
结课测试综合测试