VIP20
本课程属于：007-大模型部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型部署VLLM框架优化案例

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · VLLM框架在LLM部署中的定位与价…
课程导入学习目标
02
大模型部署基础
LLM推理原理 · 显存占用分析 · 部署挑战（延迟
大模型部署基础LLM
03
VLLM框架概览
核心特性（PagedAttentio… · Continuous Batchin… · 与其他推理框架（TGI
VLLM框架概览
04
环境搭建与安装
GPU驱动 · CUDA · Python环境
环境搭建安装
05
VLLM快速上手
加载模型 · 基础推理调用 · API服务启动与测试
VLLM快速上手
06
核心机制详解
PagedAttention原理 · KV Cache管理 · 显存优化策略
核心机制详解PagedAttenti…
07
Continuous Batching机制
动态批处理 · 调度策略 · 对吞吐的影响
ContinuousBatching
08
模型量化与精度优化
INT8/FP8量化 · AWQ/GPTQ集成 · 精度与性能权衡
模型量化精度优化
09
推理参数调优
max_length · temperature · top_p
推理参数调优max
10
并发与吞吐优化
并发请求管理 · 批大小调整 · max_num_seqs配置
并发吞吐优化
11
显存优化实战
gpu_memory_utiliza… · KV Cache预留 · OOM问题排查
显存优化实战gpu
12
性能基准测试
使用Benchmark工具（如vll… · 吞吐 · TTFT
性能基准测试Benchmark
13
案例实战一
单卡部署OPT-13B并优化吞吐 · 对比默认配置与优化后指标
案例实战一OPT-13B
14
案例实战二
多卡部署LLaMA-2-70B · 使用张量并行（TP）与流水线并行（P…
案例实战二LLaMA-2-70B
15
案例实战三
部署ChatGLM3-6B · 结合量化与Continuous Ba…
案例实战三ChatGLM3-6B
16
案例实战四
使用VLLM部署Qwen系列模型 · 处理长文本场景的KV Cache优化
案例实战四VLLM
17
高级特性
Prefix Caching · LoRA适配器支持 · 多模态模型部署（如LLaVA）
高级特性Prefix
18
与LangChain集成
通过OpenAI兼容API接入Lan… · 构建RAG应用
LangChain集成
19
生产环境部署
Docker容器化 · Kubernetes编排 · 负载均衡与自动扩缩容
生产环境部署Docker
20
监控与日志
Prometheus指标 · 日志采集 · 性能瓶颈定位
监控日志
21
常见问题排查
CUDA OOM · 模型加载失败 · 推理速度慢
常见问题排查CUDA
22
性能优化进阶
使用vLLM的--enable-pr… · --max-model-len等参数
性能优化进阶vLLM
23
模型服务化
使用vLLM的OpenAI服务器模式 · 配置API密钥 · 并发限制
模型服务化vLLM
24
成本优化
按需分配GPU资源 · 混合精度训练/推理 · Spot实例使用
成本优化GPU
25
安全与稳定性
请求超时 · 错误重试 · 模型热更新
安全稳定性
26
案例实战五
构建一个高并发聊天机器人服务 · 使用VLLM+FastAPI+Red…
案例实战五构建一个高并发聊…
27
案例实战六
对比VLLM与原生HF Transf… · 量化优化收益
案例实战六VLLM
28
综合项目
从零搭建一个生产级LLM推理平台 · 包含模型管理 · 监控
综合项目LLM
29
前沿趋势
VLLM新特性（如Speculati… · 与vLLM相关的学术研究
前沿趋势VLLM
30
课程总结
核心要点回顾 · 最佳实践清单 · 后续学习路径推荐
课程总结核心要点回顾