VIP20
本课程属于：006 vLLM AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

企业级vLLM推理服务搭建指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程适用人群 · vLLM在企业级推理中的价值与整体学…
课程导入学习目标
02
大模型推理基础
Transformer架构 · 自回归生成 · KV Cache
大模型推理基础Transformer
03
vLLM核心原理
PagedAttention · Continuous Batchin… · 投机解码等关键技术如何提升推理吞吐与…
vLLM核心原理
04
环境准备与安装
硬件选型（GPU/CPU/内存） · CUDA与驱动配置 · Python环境
环境准备安装
05
模型加载与基础推理
从HuggingFace或Model… · 使用vLLM完成单次推理与流式输出
模型加载基础推理
06
vLLM API服务快速启动
使用OpenAI兼容API启动服务 · 通过curl或Python客户端调用…
vLLMAPI
07
服务参数配置详解
模型路径 · 张量并行 · 最大序列长度
服务参数配置详解模型路径
08
推理引擎高级配置
调度器配置 · 块大小 · 最大并发数
推理引擎高级配置调度器配置
09
量化与精度优化
GPTQ · AWQ · FP8
量化精度优化
10
多GPU与分布式推理
张量并行 · 流水线并行 · 数据并行的原理与在vLLM中的配置方…
GPU分布式推理
11
性能基准测试
使用Benchmark脚本评估吞吐量 · 延迟 · TTFT
性能基准测试Benchmark
12
性能调优实战
针对不同模型和硬件 · 调整批处理大小 · 并发数
性能调优实战针对不同模型
13
服务高可用架构
负载均衡 · 健康检查 · 自动扩缩容
服务高可用架构负载均衡
14
容器化部署
使用Docker和Kubernete… · 编写Dockerfile与Helm…
容器化部署Docker
15
监控与日志
集成Prometheus · Grafana · ELK等监控日志系统
监控日志
16
安全与权限控制
API认证 · TLS加密 · 网络隔离
安全权限控制
17
多模型管理与动态加载
在单一服务中管理多个模型 · 实现热切换与按需加载
多模型管理动态加载
18
与LangChain集成
将vLLM服务作为LLM后端 · 构建RAG · Agent等应用
LangChain集成
19
与推理框架对比
对比vLLM与TGI · TensorRT-LLM · SGLang等框架的优劣与选型建议
推理框架对比vLLM
20
常见问题排查
OOM · CUDA错误 · 模型加载失败
常见问题排查OOM
21
生产环境案例
某企业从0到1搭建vLLM推理服务的… · 包括架构设计 · 部署流程与踩坑记录
生产环境案例vLLM
22
成本优化策略
通过弹性伸缩 · 混合精度 · 模型压缩等手段降低推理成本
成本优化策略通过弹性伸缩
23
模型持续更新与灰度发布
实现模型版本管理 · A/B测试 · 灰度发布流程
模型持续更新灰度发布
24
vLLM与推理加速硬件
使用A100/H100/L40S等G… · 以及NPU/TPU的适配
vLLM推理加速硬件
25
长上下文与超长序列处理
处理超过上下文窗口的请求 · 使用滑动窗口 · 位置编码扩展等技术
长上下文超长序列处理
26
流式输出与WebSocket
实现实时流式响应 · 集成WebSocket或SSE协议
WebSocket流式输出
27
多租户与资源隔离
为不同团队或客户提供隔离的推理服务 · 控制配额与优先级
多租户资源隔离
28
vLLM生态与扩展
使用vLLM的Python API自… · 钩子函数 · 或开发自定义算子
vLLM生态
29
综合实战项目
设计并实现一个支持高并发 · 低延迟 · 可观测的企业级vLLM推理平台
综合实战项目设计并实现一个支…
30
课程总结与进阶方向
回顾核心知识 · 展望vLLM新特性 · 推理优化前沿与学习资源推荐
课程总结进阶方向