VIP19

本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

企业级vLLM吞吐优化：从诊断到落地

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · vLLM吞吐优化的重要性

课程导入学习目标

vLLM基础架构

vLLM核心组件 · 推理流程 · 与吞吐相关的关键参数

vLLM基础架构

性能诊断工具

使用vLLM内置指标 · Prometheus · Grafana监控吞吐瓶颈

性能诊断工具vLLM

批处理策略优化

动态批处理 · 连续批处理 · 最大批大小调整

批处理策略优化动态批处理

PagedAttention原理 · KV Cache配置 · 内存优化技巧

模型并行与张量并行

并行策略选择 · 配置方法 · 对吞吐的影响

模型并行张量并行

量化技术应用

INT8/FP8量化 · AWQ/GPTQ集成 · 精度与吞吐权衡

量化技术应用INT8/FP8

投机解码加速

投机采样 · 草稿模型选择 · 实现与调优

投机解码加速投机采样

前缀缓存与提示复用

前缀缓存机制 · 实现方式 · 适用场景

前缀缓存提示复用

请求调度优化

调度算法 · 优先级队列 · 负载均衡

请求调度优化调度算法

GPU资源利用

SM占用率 · CUDA优化 · 多流并发

GPU资源利用

CPU与GPU协同

数据预处理 · tokenization · CPU offload

网络与存储优化

数据加载 · 模型加载 · 分布式通信优化

网络存储优化

吞吐与延迟权衡

P99延迟控制 · 吞吐最大化策略

吞吐延迟权衡

诊断一个真实vLLM服务的吞吐瓶颈

案例实战vLLM

通过批处理和KV Cache优化提升…

量化与投机解码在低延迟场景的应用

案例实战量化

大规模集群部署的吞吐优化

案例实战大规模集群部署的…

OOM错误 · 内存碎片 · 显存不足的解决

常见问题OOM

吞吐波动 · 性能回退 · 配置冲突的排查

常见问题吞吐波动

多模型部署的资源隔离与优化

常见问题多模型部署的资源…

性能基准测试

设计基准测试 · 分析结果 · 制定优化目标

性能基准测试设计基准测试

自动调优工具

使用vLLM自动调优 · 网格搜索 · 贝叶斯优化

自动调优工具vLLM

生产环境最佳实践

监控告警 · 日志分析 · 持续优化流程

生产环境最佳实践监控告警

vLLM最新特性 · 研究趋势 · 未来方向

前沿技术vLLM

从零优化一个生产级vLLM服务

综合实战vLLM

结合Kubernetes的弹性伸缩与…

综合实战Kubernetes

多租户场景下的吞吐隔离与公平调度

综合实战多租户场景下的吞…

吞吐优化与成本控制（TCO分析）

综合实战TCO

核心要点回顾 · 学习路径建议 · 参考资料推荐

课程总结核心要点回顾