VIP20
本课程属于：006 vLLM AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

生产环境vLLM高并发优化方案

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程适用人群 · vLLM在生产环境中的价值与挑战
课程导入学习目标
02
vLLM核心架构与工作原理
PagedAttention · Continuous Batchin… · KV Cache管理
vLLM核心架构
03
高并发场景需求分析
生产环境典型高并发特征 · 性能指标（吞吐量 · 延迟
高并发场景需求分…生产环境典型高并…
04
环境准备与基准测试
硬件选型（GPU · CPU · 内存
环境准备基准测试
05
vLLM基础配置优化
引擎参数（max_num_seqs · max_num_batched_to… · gpu_memory_utiliza…
vLLM基础配置优化
06
模型加载与内存优化
模型量化（INT8/FP8/AWQ/… · KV Cache量化 · 内存池管理
模型加载内存优化
07
并发控制与请求调度
请求队列管理 · 优先级策略 · 动态批处理
并发控制请求调度
08
推理引擎参数调优
采样参数（temperature · top_p · max_tokens）对并发的影响
推理引擎参数调优temperature
09
多GPU与分布式部署
张量并行 · 流水线并行 · 数据并行
GPU分布式部署
10
高并发服务架构设计
API网关 · 负载均衡器（Nginx/Envoy） · 连接池
高并发服务架构设…API
11
性能监控与可观测性
关键指标采集（GPU利用率 · 队列长度 · 延迟分布）
性能监控可观测性
12
常见性能瓶颈与排查方法
CPU/GPU瓶颈 · 内存瓶颈 · 网络瓶颈
常见性能瓶颈排查方法
13
优化案例实战
单机多卡场景下提升吞吐量的完整调优流… · 从基线到优化后的对比分析
优化案例实战单机多卡场景下提…
14
优化案例实战
高并发在线服务场景（如聊天机器人）的… · 结合Prefix Caching和动…
优化案例实战高并发
15
优化案例实战
长文本生成场景的KV Cache优化… · 避免OOM
优化案例实战KV
16
优化案例实战
混合负载（短请求与长请求混合）下的调… · 平衡TTFT与TPOT
优化案例实战混合负载
17
vLLM与推理服务框架集成
与FastAPI · Ray Serve · KServe等集成时的并发优化配置
vLLM推理服务框架集成
18
弹性伸缩与自动扩缩容
基于负载的Pod自动扩缩容（K8s… · GPU资源调度 · 无服务器推理
弹性伸缩自动扩缩容
19
安全与稳定性保障
并发高峰下的限流 · 熔断 · 降级
安全稳定性保障
20
成本优化
在满足SLA前提下降低GPU成本 · 包括混合精度 · 批处理大小
成本优化SLA
21
vLLM新特性与社区优化
最新版本中的性能改进 · 实验性功能 · 与TensorRT-LLM等其他框架…
vLLM新特性
22
性能调优方法论
从测量 · 分析 · 优化到验证的闭环流程
性能调优方法论从测量
23
常见问题FAQ
OOM · 请求超时 · 吞吐量低
FAQ常见问题
24
实战项目
构建一个高并发vLLM推理服务 · 从架构设计 · 部署
实战项目vLLM
25
实战项目
对现有vLLM服务进行性能审计 · 找出瓶颈并实施优化 · 对比优化前后性能指标
实战项目vLLM
26
实战项目
实现一个动态批处理与优先级队列的自定… · 提升混合负载下的服务质量
实战项目实现一个动态批处…
27
实战项目
基于Prometheus和Grafa… · 并设置告警规则
实战项目Prometheus
28
综合提升
结合Kubernetes部署高可用v… · 实现多租户隔离与资源配额管理
综合提升Kubernetes
29
综合提升
设计一个面向生产环境的vLLM优化方… · 包括检查清单 · 调优步骤
综合提升vLLM
30
课程总结与展望
回顾核心优化点 · 最佳实践总结 · 未来趋势（如推测解码
课程总结回顾核心优化点