VIP19
本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大吞吐vLLM服务部署与运维手册

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM在大吞吐服务中的价值与挑战
课程导入学习目标
02
环境准备
硬件要求（GPU · CPU · 内存）
环境准备GPU
03
vLLM核心概念
PagedAttention · Continuous Batchin… · KV Cache管理
vLLM核心概念
04
模型加载与配置
支持模型格式（HuggingFace · GPTQ · AWQ）
模型加载配置
05
服务启动基础
使用vLLM启动OpenAI兼容AP… · 命令行参数详解（--model · --served-model-nam…
服务启动基础vLLM
06
性能调优参数
max-num-seqs · max-num-batched-to… · gpu-memory-utiliza…
性能调优参数max-num-seqs
07
批处理策略
Continuous Batchin… · 动态批处理 · 请求调度算法（FCFS
批处理策略Continuous
08
并发与并行
多GPU推理（张量并行 · 流水线并行） · 多节点部署（Ray集群）
并发并行
09
量化与精度
FP16/BF16/INT8/INT… · AWQ/GPTQ集成 · 量化对吞吐和精度的影响
量化精度
10
输入输出处理
长文本处理 · 最大序列长度设置 · 流式输出（SSE）
输入输出处理长文本处理
11
API接口详解
/v1/chat/completio… · /v1/completions · /v1/embeddings
API接口详解
12
客户端集成
Python/curl调用示例 · 异步请求 · 错误处理
客户端集成Python/curl
13
性能基准测试
使用Benchmark脚本（benc… · 测试指标（吞吐 · 延迟）
性能基准测试Benchmark
14
监控与日志
Prometheus指标（吞吐 · 队列长度 · GPU利用率）
监控日志
15
容器化部署
Dockerfile编写 · 镜像构建 · GPU直通（nvidia-conta…
容器化部署Dockerfile
16
Kubernetes部署
Helm Chart · Pod调度（GPU资源） · 自动扩缩容（HPA
Kubernetes部署
17
负载均衡与网关
Nginx/HAProxy配置 · API网关（Kong） · 请求路由
负载均衡网关
18
高可用设计
多副本部署 · 健康检查 · 故障转移
高可用设计多副本部署
19
安全加固
API认证（API Key） · TLS加密 · 网络隔离
安全加固API
20
常见问题排查
OOM · CUDA错误 · 模型加载失败
常见问题排查OOM
21
性能优化进阶
内核融合 · 算子优化 · vLLM最新特性（如Chunked…
性能优化进阶内核融合
22
模型服务化最佳实践
模型版本管理 · A/B测试 · 金丝雀发布
模型服务化最佳实…模型版本管理
23
成本控制
GPU选型 · 按需扩缩容 · Spot实例使用
成本控制GPU
24
案例实战
部署Llama-3-8B服务 · 压测并调优至最大吞吐
案例实战Llama-3-8B
25
案例实战
多模型部署与路由（MoE · 模型切换）
案例实战MoE
26
案例实战
长上下文场景（如文档问答）的部署优化
案例实战长上下文场景
27
案例实战
高并发生产环境（如聊天机器人）的架构…
案例实战高并发生产环境
28
综合实战
从零搭建生产级vLLM服务 · 包括监控 · 日志
综合实战vLLM
29
前沿扩展
vLLM与Ray Serve · KServe集成 · Serverless推理
前沿扩展vLLM
30
课程总结
核心要点回顾 · 常见误区 · 学习路径建议
课程总结核心要点回顾