VIP19
本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM版本升级带来的吞吐提升实践

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM简介及版本升级的重要性
课程导入学习目标
02
环境准备
安装vLLM · 配置GPU环境 · 验证安装版本
环境准备vLLM
03
vLLM核心概念
PagedAttention · Continuous Batchin… · 量化与推理优化
vLLM核心概念
04
版本差异概览
vLLM主要版本的功能演进与性能改进
版本差异概览vLLM
05
升级前评估
现有部署架构 · 性能基线测试方法
升级前评估现有部署架构
06
升级步骤详解
备份配置 · 依赖更新 · 代码迁移
升级步骤详解备份配置
07
配置优化
针对新版本调整模型并行 · 调度参数
配置优化针对新版本调整模…
08
吞吐量指标
定义与测量方法（tokens/s · requests/s）
吞吐量指标tokens/s
09
基准测试工具
使用vLLM内置benchmark脚…
基准测试工具vLLM
10
案例实战
从v0.2升级到v0.3的吞吐提升对…
案例实战v0.2
11
案例实战
从v0.3升级到v0.4的改进点分析
案例实战v0.3
12
案例实战
从v0.4升级到v0.5的新特性利用
案例实战v0.4
13
性能调优
调整max_num_seqs · max_num_batched_to…
性能调优max
14
性能调优
启用chunked prefill与…
性能调优chunked
15
性能调优
使用量化（AWQ/GPTQ）提升吞吐
性能调优AWQ/GPTQ
16
多GPU部署
张量并行与流水线并行的配置
GPU部署
17
动态批处理
理解Continuous Batch…
动态批处理Continuous
18
内存管理
PagedAttention的显存优…
内存管理PagedAttenti…
19
常见问题
升级后兼容性错误及解决方案
常见问题升级后兼容性错误
20
常见问题
性能不升反降的原因排查
常见问题性能不升反降的原…
21
监控与日志
利用Prometheus和Grafa…
监控日志
22
模型优化
使用vLLM的模型优化工具（如vll…
模型优化vLLM
23
高级特性
投机解码（Speculative D…
高级特性Speculative
24
高级特性
LoRA适配器与多模型部署
高级特性LoRA
25
实战项目
构建一个高吞吐的推理服务
实战项目构建一个高吞吐的…
26
实战项目
对比不同版本的吞吐并生成报告
实战项目对比不同版本的吞…
27
综合提升
结合容器化（Docker/K8s）部…
综合提升Docker/K8s
28
综合提升
与推理网关（如Triton）集成
综合提升Triton
29
最佳实践
版本升级的注意事项与建议
最佳实践版本升级的注意事…
30
课程总结
回顾关键点 · 展望未来趋势
课程总结回顾关键点