VIP20
本课程属于：006 vLLM AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM结合Kubernetes容器化部署实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
课程目标 · 目标学员 · 学习路径
课程导入课程目标
02
环境准备
搭建实验环境 · 包括Linux服务器 · Docker
环境准备搭建实验环境
03
vLLM基础
vLLM的核心特性 · 工作原理 · 与HuggingFace模型的集成方…
vLLM的核心特性
04
vLLM快速上手
使用vLLM在单机GPU上部署一个开… · 完成推理请求测试
vLLM快速上手
05
Docker基础
Docker镜像 · 容器 · Dockerfile编写
Docker镜像
06
vLLM镜像构建
编写vLLM的Dockerfile · 安装依赖 · 复制模型
vLLM镜像构建
07
Kubernetes核心概念
Pod · Deployment · Service
Kubernetes核心概念
08
Kubernetes集群部署
使用kubeadm或云服务商（如EK… · AKS · GKE）部署生产级集群
Kubernetes集群部署
09
GPU资源管理
在Kubernetes中管理GPU资… · 包括nvidia-device-pl… · GPU调度策略
GPU资源管理
10
部署vLLM到Kubernetes
编写Deployment YAML · 配置容器镜像 · GPU请求
vLLMKubernetes
11
服务暴露与负载均衡
创建Service（ClusterI… · NodePort · LoadBalancer）和Ingr…
服务暴露负载均衡
12
配置管理
使用ConfigMap和Secret… · API密钥 · 推理参数等配置
配置管理ConfigMap
13
持久化存储
使用PersistentVolume… · 实现模型共享与持久化
持久化存储PersistentVo…
14
自动扩缩容
基于CPU · GPU利用率或自定义指标（如请求QP… · 实现弹性伸缩
自动扩缩容CPU
15
滚动更新与回滚
使用Deployment的滚动更新策… · 处理模型更新 · 并掌握回滚操作
滚动更新回滚
16
监控与日志
部署Prometheus和Grafa… · 推理延迟 · 吞吐量
监控日志
17
性能调优
vLLM的推理参数（如max-mod… · gpu-memory-utiliza… · 以及Kubernetes资源限制优化
性能调优vLLM
18
安全加固
Kubernetes RBAC权限控… · 网络策略 · 镜像安全扫描
安全加固Kubernetes
19
多模型管理
在同一个Kubernetes集群中部… · 使用命名空间隔离 · 实现多模型路由
多模型管理Kubernetes
20
批处理与队列
使用Kubernetes Job或A… · 结合vLLM的批处理能力
批处理队列
21
故障排查
常见问题诊断 · 包括GPU不可用 · OOM
故障排查常见问题诊断
22
CI/CD集成
使用GitLab CI或GitHub… · 自动部署到Kubernetes · 实现持续交付
CI/CD集成
23
Helm打包
编写Helm Chart管理vLLM… · 实现参数化部署 · 版本管理和一键安装
Helm打包
24
服务网格集成
使用Istio或Linkerd实现流… · 灰度发布 · 熔断和可观测性
服务网格集成Istio
25
成本优化
利用Kubernetes节点自动伸缩… · 合理设置资源请求
成本优化Kubernetes
26
混合云与边缘部署
将vLLM部署到混合云或边缘Kube… · 考虑网络延迟和数据本地性
混合云边缘部署
27
实战项目
从零搭建一个完整的vLLM推理平台 · 包括前端API · 后端服务
实战项目vLLM
28
常见问题与解决方案
总结vLLM与Kubernetes结… · 模型并发限制 · 网络瓶颈）及解决策略
常见问题解决方案
29
最佳实践
总结生产环境部署vLLM的架构设计 · 资源规划 · 运维流程和团队协作规范
最佳实践vLLM
30
课程总结与进阶
回顾核心知识点 · 推荐学习资源 · 探讨未来方向（如vLLM与KubeF…
课程总结进阶