VIP20
本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多卡vLLM显存碎片治理与性能提升精讲

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · 多卡vLLM显存碎片问题概述
课程导入学习目标
02
显存管理基础
GPU显存层次 · CUDA显存分配机制 · 显存碎片定义与分类
显存管理基础GPU
03
vLLM架构与显存使用
vLLM的PagedAttentio… · KV Cache管理 · 显存池化技术
vLLM架构
04
多卡并行策略
张量并行 · 流水线并行 · 数据并行及其显存影响
多卡并行策略张量并行
05
显存碎片产生原因
动态请求 · KV Cache动态分配 · 内存分配器行为
显存碎片产生原因动态请求
06
显存碎片检测与度量
碎片率计算 · 显存监控工具 · 性能分析
显存碎片检测度量
07
显存碎片治理策略
内存池优化 · 预分配 · 块大小调整
显存碎片治理策略内存池优化
08
vLLM显存配置调优
gpu_memory_utiliza… · max_num_seqs · block_size等参数
vLLM显存配置调优
09
多卡显存均衡
负载均衡 · 显存均衡分配 · 避免碎片热点
多卡显存均衡负载均衡
10
KV Cache优化
量化 · 压缩 · 淘汰策略对碎片的影响
KVCache
11
动态批处理与调度
continuous batchin… · 抢占与恢复对显存的影响
动态批处理调度
12
显存碎片治理实战
使用vLLM API进行配置和监控
显存碎片治理实战vLLM
13
案例实战
单卡场景显存碎片优化
案例实战单卡场景显存碎片…
14
案例实战
多卡场景显存碎片优化
案例实战多卡场景显存碎片…
15
性能调优
吞吐量 · 延迟与显存碎片的关系
性能调优吞吐量
16
常见问题与解决方案
OOM · 显存不足 · 性能下降
常见问题解决方案
17
高级主题
显存碎片与模型并行结合
高级主题显存碎片
18
工具使用
nvidia-smi · Nsight · vLLM日志分析
工具使用nvidia-smi
19
性能基准测试
设计实验 · 对比优化前后效果
性能基准测试设计实验
20
综合实战
构建一个多卡vLLM服务并优化显存碎…
综合实战vLLM
21
课程总结
核心要点回顾 · 最佳实践 · 未来趋势
课程总结核心要点回顾
22
拓展学习
相关论文 · 开源项目 · 社区资源
拓展学习相关论文
23
实践作业
配置多卡vLLM并优化显存碎片
实践作业vLLM
24
答疑与讨论
常见疑问解答 · 互动讨论
答疑讨论
25
性能监控与告警
设置监控指标 · 告警阈值
性能监控告警
26
显存碎片与成本优化
降低显存浪费 · 提高资源利用率
显存碎片成本优化
27
多卡通信优化
NCCL · 显存碎片对通信的影响
多卡通信优化NCCL
28
故障排查
显存碎片导致的异常 · 调试技巧
故障排查显存碎片导致的异…
29
案例研究
真实业务场景中的显存碎片治理
案例研究真实业务场景
30
课程结业
综合考核 · 项目展示 · 结业总结
课程结业综合考核