VIP20
本课程属于：006 vLLM AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM核心架构与性能调优实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
vLLM的定位 · 核心价值 · 适用场景
课程导入vLLM
02
环境搭建
GPU/CPU环境准备 · CUDA与PyTorch安装 · vLLM源码安装与验证
环境搭建GPU/CPU
03
LLM推理基础
Transformer解码流程 · KV Cache原理 · 预填充与解码阶段
LLM推理基础
04
vLLM核心架构总览
PagedAttention · Continuous Batchin… · 分布式推理等核心组件
vLLM核心架构总览
05
PagedAttention深入
显存管理 · 块表机制 · KV Cache分页与共享
PagedAttenti…深入
06
Continuous Batching机制
动态批处理 · 请求调度 · 吞吐量与延迟权衡
ContinuousBatching
07
vLLM推理引擎
LLM类 · SamplingParams · 离线推理与在线服务
vLLM推理引擎
08
vLLM服务化部署
OpenAI兼容API · 启动参数 · 并发与流式输出
vLLM服务化部署
09
模型加载与量化
HuggingFace模型加载 · AWQ/GPTQ/FP8量化支持
模型加载量化
10
分布式推理
张量并行 · 流水线并行 · 数据并行与多GPU部署
分布式推理张量并行
11
性能指标与基准测试
吞吐量 · TTFT · TPOT
性能指标基准测试
12
性能调优方法论
瓶颈分析 · 配置调优 · 显存优化
性能调优方法论瓶颈分析
13
高级特性
Prefix Caching · Chunked Prefill · Speculative Decodi…
高级特性Prefix
14
实战案例
基于vLLM部署Llama 3/ M…
实战案例vLLM
15
实战案例
高并发在线服务压测与性能对比
实战案例高并发
16
实战案例
长上下文场景下的显存优化与性能调优
实战案例长上下文场景下的…
17
实战案例
多模型管理与动态加载
实战案例多模型管理
18
常见问题排查
OOM · CUDA错误 · 推理延迟异常
常见问题排查OOM
19
与LangChain/LlamaIndex集成
构建RAG应用
LangChain/Ll…集成
20
vLLM与推理框架对比
TGI · TensorRT-LLM · llama.cpp等
vLLM推理框架对比
21
生产环境部署
Docker · Kubernetes · 监控与日志
生产环境部署Docker
22
性能调优进阶
内核融合 · 算子优化 · 自定义CUDA kernel
性能调优进阶内核融合
23
vLLM源码解析
调度器 · 块管理器 · 模型执行器
vLLM源码解析
24
vLLM扩展开发
自定义模型支持 · 自定义采样策略
vLLM扩展开发
25
最新特性与版本演进
vLLM新功能 · 社区动态与路线图
最新特性版本演进
26
综合实战
从零搭建一个高吞吐 · 低延迟的LLM推理服务
综合实战从零搭建一个高吞…
27
综合实战
针对特定业务场景的端到端性能调优
综合实战针对特定业务场景…
28
综合实战
多GPU集群下的vLLM部署与优化
综合实战GPU
29
综合实战
结合量化与蒸馏技术进一步压缩模型
综合实战结合量化
30
课程总结与进阶方向
知识回顾 · 最佳实践 · 学习资源与社区参与
课程总结进阶方向