VIP20

本课程属于：006 vLLM AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

vLLM动态批处理与延迟优化实战

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · vLLM在LLM推理中的定位与价值

课程导入学习目标

LLM推理基础

Transformer解码流程 · 自回归生成 · KV Cache概念与作用

LLM推理基础

静态批处理与动态批处理

静态批处理的局限 · 动态批处理的核心思想与优势

静态批处理动态批处理

vLLM核心架构

PagedAttention · KV Cache管理 · 调度器与执行器的工作机制

vLLM核心架构

动态批处理原理

连续批处理（Continuous B… · 请求插入与完成处理

动态批处理原理Continuous

vLLM安装与配置

环境搭建 · 依赖安装 · 基本推理示例与性能基准测试

离线批量推理与在线服务接口 · 参数配置（如max_num_seqs · max_model_len）

动态批处理参数调优

max_num_seqs · max_paddings · 调度策略对吞吐和延迟的影响

动态批处理参数调…max

延迟优化基础

延迟来源分析（排队 · 计算 · 显存传输）

延迟优化基础延迟来源分析

PagedAttention深入

显存碎片消除 · KV Cache分页管理 · 对动态批处理的支持

PagedAttenti…深入

vLLM调度器源码解析

调度循环 · 请求状态机 · 抢占与恢复机制

vLLM调度器源码解析

动态批处理实战

使用vLLM实现高吞吐离线推理 · 对比静态批处理性能

动态批处理实战vLLM

在线服务部署

使用vLLM启动OpenAI兼容AP… · 配置动态批处理参数

线服务部署vLLM

延迟优化实战

通过调整批大小 · 并发数 · 模型并行度降低P99延迟

延迟优化实战通过调整批大小

前缀缓存（Prefix Caching）

原理 · 配置 · 对多轮对话和few-shot场景的延…

投机解码（Speculative Decoding）

原理 · vLLM中的实现 · 对延迟的改善效果

SpeculativeDecoding

量化与精度优化

INT8/FP8量化 · AWQ/GPTQ在vLLM中的集成与…

量化精度优化

多GPU与张量并行

张量并行 · 流水线并行在vLLM中的配置与延迟优…

GPU张量并行

性能监控与剖析

使用vLLM日志 · Prometheus · PyTorch Profiler定位…

性能监控剖析

常见延迟问题排查

排队延迟 · 显存不足 · 调度抖动

常见延迟问题排查排队延迟

动态批处理与请求优先级

如何实现高优先级请求插队 · 公平调度策略

动态批处理请求优先级

vLLM与推理框架对比

与TGI · TensorRT-LLM在动态批处理…

vLLM推理框架对比

生产环境最佳实践

容器化部署 · 自动扩缩容 · 负载均衡与vLLM结合

生产环境最佳实践容器化部署

聊天机器人服务优化 · 从高延迟到低延迟的完整调优过程

实战案例聊天机器人服务优…

长文本生成场景下动态批处理与KV C…

高并发API服务 · 通过动态批处理提升吞吐并控制延迟

实战案例API

常见问题与解决方案

OOM · 请求超时 · 批处理效率低

常见问题解决方案

构建一个端到端的LLM推理服务 · 结合动态批处理 · 前缀缓存

综合实战LLM

性能调优方法论

建立基准 · 分析瓶颈 · 迭代优化

性能调优方法论建立基准

课程总结与进阶方向

回顾核心知识 · 推荐学习资源 · 探讨vLLM未来演进趋势

课程总结进阶方向