VIP19
本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

高并发场景vLLM吞吐稳定性保障实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
高并发场景下vLLM吞吐稳定性的重要… · 课程目标 · 学习路径
课程导入vLLM
02
vLLM基础架构
vLLM的核心组件 · 工作原理 · 与常见推理框架的对比
vLLM基础架构
03
高并发挑战分析
高并发场景下的性能瓶颈 · 吞吐量下降原因 · 稳定性问题分类
高并发挑战分析高并发场景下的性…
04
性能指标与监控
关键性能指标（吞吐量 · 延迟 · GPU利用率等）
性能指标监控
05
模型优化基础
模型量化 · 剪枝 · 蒸馏等优化技术及其对吞吐的影响
模型优化基础模型量化
06
vLLM配置调优
vLLM关键配置参数（如max_nu… · max_model_len等）的调优…
vLLM配置调优
07
批处理策略
动态批处理 · 连续批处理 · 抢占与调度策略
批处理策略动态批处理
08
显存管理
KV Cache管理 · 显存优化 · 防止显存溢出
显存管理KV
09
并发控制
并发请求数限制 · 队列管理 · 背压机制
并发控制并发请求数限制
10
负载均衡
多实例部署 · 请求分发策略 · 负载均衡算法
负载均衡多实例部署
11
弹性伸缩
基于负载的自动扩缩容 · Kubernetes集成
弹性伸缩基于负载的自动扩…
12
故障恢复
节点故障 · 请求失败处理 · 容错机制
故障恢复节点故障
13
性能测试方法
压测工具（如wrk · locust） · 测试场景设计
性能测试方法wrk
14
性能调优实战
通过实际案例演示如何定位瓶颈并优化
性能调优实战通过实际案例演示…
15
案例实战
电商大促场景下的vLLM服务优化
案例实战vLLM
16
案例实战
实时对话系统的高并发处理
案例实战实时对话系统的高…
17
案例实战
内容生成服务的吞吐提升
案例实战内容生成服务的吞…
18
常见问题与解决方案
请求超时 · OOM · GPU利用率低等
常见问题解决方案
19
日志与链路追踪
分布式追踪 · 日志聚合 · 问题排查
日志链路追踪
20
安全与稳定性
限流 · 熔断 · 降级策略
安全稳定性
21
成本优化
在保证吞吐的前提下降低资源成本
成本优化保证吞吐的前提下…
22
与推理加速库集成
TensorRT · ONNX Runtime等
推理加速库集成TensorRT
23
多模型管理
多模型部署 · 模型路由 · 版本管理
多模型管理多模型部署
24
高级特性
投机解码 · 并行采样 · 前缀缓存
高级特性投机解码
25
性能对比实验
不同配置下的吞吐与延迟对比
性能对比实验不同配置下的吞吐
26
调优方法论
系统化调优流程 · 性能分析工具使用
调优方法论系统化调优流程
27
综合实战
构建一个高吞吐 · 稳定的vLLM服务
综合实战构建一个高吞吐
28
性能评估与报告
如何撰写性能评估报告
性能评估报告
29
前沿趋势
vLLM最新特性 · 业界最佳实践
前沿趋势vLLM
30
课程总结
核心要点回顾 · 学习建议 · 进阶方向
课程总结核心要点回顾