VIP20
本课程属于：011-vLLM推理框架实战：从入门到精通 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM生产环境端到端部署贯通实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · vLLM在生产环境中的价值与挑战
课程导入学习目标
02
环境准备
硬件要求 · 软件依赖 · CUDA与Python环境配置
环境准备硬件要求
03
vLLM核心概念
PagedAttention · Continuous Batchin… · KV Cache等原理
vLLM核心概念
04
模型加载与推理
支持模型格式 · 加载方式 · 推理参数调优
模型加载推理
05
API服务搭建
OpenAI兼容API · 启动参数 · 请求与响应格式
API服务搭建
06
性能优化
吞吐量 · 延迟 · 并发优化策略
性能优化吞吐量
07
量化与压缩
GPTQ · AWQ · FP8等量化方法及在vLLM中的应用
量化压缩
08
多GPU部署
张量并行 · 流水线并行配置与性能对比
GPU部署
09
高可用架构
负载均衡 · 故障转移 · 健康检查
高可用架构负载均衡
10
容器化部署
Docker镜像构建 · Kubernetes部署实践
容器化部署Docker
11
监控与日志
Prometheus · Grafana监控指标 · 日志收集
监控日志
12
安全与权限
API认证 · 网络隔离 · 模型安全
安全权限
13
常见问题排查
OOM · CUDA错误 · 性能瓶颈定位
常见问题排查OOM
14
案例实战
基于vLLM部署ChatGLM3模型
案例实战vLLM
15
案例实战
基于vLLM部署Llama 3模型
案例实战vLLM
16
案例实战
基于vLLM部署Qwen模型
案例实战vLLM
17
案例实战
多模型管理与动态加载
案例实战多模型管理
18
生产环境调优
针对真实业务场景的配置优化
生产环境调优针对真实业务场景…
19
与LangChain集成
构建RAG应用
LangChain集成
20
与FastAPI集成
自定义API接口
FastAPI集成
21
与Ray集成
分布式推理扩展
Ray集成
22
离线批处理
批量推理任务设计与实现
离线批处理批量推理任务设计
23
流式输出
实现流式响应与WebSocket集成
流式输出WebSocket
24
模型热更新
无缝升级模型版本
模型热更新无缝升级模型版本
25
成本控制
资源利用率优化与成本分析
成本控制资源利用率优化
26
测试与评估
压力测试 · 性能基准测试
测试评估
27
CI/CD集成
自动化部署流水线
CI/CD集成
28
云部署实践
AWS/GCP/Azure上的部署方…
云部署实践AWS/GCP/Azur…
29
综合实战
构建一个完整的生产级推理服务
综合实战构建一个完整的生…
30
课程总结
知识回顾 · 最佳实践 · 未来展望
课程总结知识回顾