VIP20
本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM全链路推理延迟综合调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM推理延迟优化的重要性
课程导入学习目标
02
vLLM基础
vLLM架构 · 推理流程 · 关键组件（如PagedAttenti…
vLLM架构
03
性能指标
延迟 · 吞吐量 · 首Token延迟（TTFT）
性能指标延迟
04
环境准备
硬件选型（GPU · CPU · 内存）
环境准备GPU
05
模型加载优化
模型量化（INT8/FP8） · 权重共享 · 模型并行（TP/PP）对延迟的影响
模型加载优化INT8/FP8
06
批处理策略
动态批处理 · 连续批处理 · 最大批大小对延迟的影响
批处理策略动态批处理
07
KV Cache优化
PagedAttention原理 · KV Cache大小管理 · 缓存复用策略
KVCache
08
调度器调优
调度算法（FCFS · SJF） · 抢占策略
调度器调优FCFS
09
推理引擎配置
vLLM关键参数（如--max-nu… · --max-num-batched-…
推理引擎配置vLLM
10
并行策略
张量并行 · 流水线并行 · 数据并行的选择与配置
并行策略张量并行
11
内存管理
显存优化 · CPU内存卸载 · 内存池配置
内存管理显存优化
12
算子优化
融合算子 · 自定义CUDA内核 · 使用TensorRT等加速库
算子优化融合算子
13
模型优化
剪枝 · 蒸馏 · 低秩分解等模型压缩技术
模型优化剪枝
14
量化技术
PTQ · QAT · 量化感知训练
量化技术PTQ
15
推理服务部署
使用vLLM部署REST API · gRPC服务 · 以及服务配置对延迟的影响
推理服务部署vLLM
16
负载均衡
多实例部署 · 请求路由 · 自动扩缩容策略
负载均衡多实例部署
17
缓存策略
前缀缓存 · 语义缓存 · 结果缓存
缓存策略前缀缓存
18
网络优化
减少网络开销 · 使用RDMA · 优化通信库（NCCL）
网络优化减少网络开销
19
性能分析
使用profiler（如PyTorc… · Nsight）定位瓶颈
性能分析profiler
20
常见延迟问题
慢启动 · 长尾延迟 · 抖动问题及解决方案
常见延迟问题慢启动
21
案例实战
基于GPT-3或LLaMA模型进行端…
案例实战GPT-3
22
案例实战
高并发场景下的延迟优化（如聊天机器人…
案例实战高并发场景下的延…
23
案例实战
长序列生成场景的延迟优化（如文档摘要…
案例实战长序列生成场景的…
24
案例实战
多模型部署场景的延迟优化（如模型路由…
案例实战多模型部署场景的…
25
对比分析
vLLM与其他推理框架（如Tenso… · FasterTransformer）…
对比分析vLLM
26
调优方法论
系统化调优流程 · 实验设计 · A/B测试
调优方法论系统化调优流程
27
监控与告警
延迟监控指标 · 日志分析 · 告警设置
监控告警
28
成本与性能平衡
在延迟和成本之间权衡 · 如使用更便宜的硬件或更小的模型
成本性能平衡
29
前沿技术
投机解码 · 并行解码 · 动态形状优化等最新进展
前沿技术投机解码
30
综合实战
从零开始构建一个低延迟的vLLM推理… · 并进行全面调优
综合实战vLLM