VIP19

本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

vLLM吞吐优化中的显存控制艺术

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · vLLM吞吐优化与显存控制的关系

课程导入学习目标

GPU显存层次 · 显存带宽 · 显存容量对推理性能的影响

显存基础GPU

vLLM核心机制

PagedAttention原理 · 显存碎片化问题 · KV Cache管理

vLLM核心机制

吞吐优化概述

吞吐量定义 · 影响吞吐的关键因素 · 优化策略全景

吞吐优化概述吞吐量定义

显存分配策略

vLLM显存池设计 · 动态分配与静态分配对比

显存分配策略vLLM

量化方法（INT8/FP8） · 精度与吞吐权衡 · 实现技巧

连续批处理

Continuous Batchin… · 调度策略 · 显存利用率提升

连续批处理Continuous

Prefix Caching机制 · 显存复用 · 长序列场景优化

前缀缓存Prefix

Speculative Decodi… · 显存开销 · 吞吐提升效果

投机解码Speculative

张量并行 · 流水线并行 · 数据并行对显存和吞吐的影响

并行策略张量并行

显存监控与调优

使用nvidia-smi · Nsight等工具分析显存瓶颈

显存监控调优

基于vLLM部署LLaMA模型 · 调整显存参数提升吞吐

案例实战vLLM

显存不足（OOM）原因分析 · 解决方案 · 预防措施

常见问题OOM

批处理大小与显存冲突 · 如何平衡吞吐与延迟

常见问题批处理大小

KV Cache碎片化导致性能下降 · 整理与优化方法

量化后精度损失 · 如何评估与缓解

常见问题量化后精度损失

多模型部署显存隔离 · 动态加载与卸载

常见问题多模型部署显存隔…

设计高吞吐推理系统 · 结合显存控制与调度策略

综合提升设计高吞吐推理系…

大规模集群部署 · 显存感知的负载均衡

综合提升大规模集群部署

与推理加速库（如TensorRT-L… · 选型建议

综合提升TensorRT-L

未来趋势（如显存压缩 · 异构计算）与vLLM演进

综合提升未来趋势

使用vLLM实现高吞吐API服务 · 显存配置调优

实战项目vLLM

对比不同显存控制策略（如量化 · 前缀缓存）的吞吐效果

实战项目对比不同显存控制…

分析显存瓶颈 · 编写自动化调优脚本

实战项目分析显存瓶颈

在长上下文场景下优化显存与吞吐

实战项目长上下文场景下优…

多GPU环境下显存分配与吞吐扩展

实战项目GPU

处理并发请求高峰 · 显存动态调整

实战项目处理并发请求高峰

集成监控告警 · 显存异常处理

实战项目集成监控告警

核心要点回顾 · 学习路径建议 · 进一步学习资源

课程总结核心要点回顾

综合应用题 · 检验显存控制与吞吐优化能力

结业测试综合应用题