VIP20
本课程属于：007-大模型部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型部署Kubernetes集群实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
大模型部署的挑战与Kubernete… · 课程目标与学习路径
课程导入Kubernete
02
环境准备
搭建Kubernetes集群（Min… · Kind · 云托管集群）
环境准备Kubernetes
03
Docker与容器基础
镜像构建 · 容器运行 · 资源限制
Docker容器基础
04
Kubernetes核心概念
Pod · Deployment · Service
Kubernetes核心概念
05
大模型推理服务化
使用vLLM · Triton或TensorRT-LL…
大模型推理服务化vLLM
06
模型镜像制作
优化大模型镜像（分层 · 缓存 · 多阶段构建）
模型镜像制作优化大模型镜像
07
GPU资源管理
在Kubernetes中配置NVID… · 共享GPU · MIG及设备插件
GPU资源管理
08
部署策略
滚动更新 · 蓝绿部署 · 金丝雀发布
部署策略滚动更新
09
水平自动伸缩
基于CPU · 内存 · 自定义指标（如请求数
水平自动伸缩CPU
10
服务发现与负载均衡
ClusterIP · NodePort · LoadBalancer
服务发现负载均衡
11
配置与密钥管理
使用ConfigMap和Secret… · API密钥 · 数据库连接
配置密钥管理
12
持久化存储
为模型权重和缓存配置PV/PVC · 支持本地卷 · NFS
持久化存储PV/PVC
13
模型热加载与动态更新
实现模型文件的热替换 · 避免重启服务
模型热加载动态更新
14
推理性能优化
批处理 · 动态batching · 量化（INT8/FP16）
推理性能优化批处理
15
监控与日志
部署Prometheus · Grafana · Loki/ELK
监控日志
16
告警与自愈
配置Alertmanager规则 · 利用Liveness/Readine…
告警自愈
17
安全加固
RBAC权限控制 · 网络策略 · 镜像扫描
安全加固RBAC
18
多模型管理与路由
使用KServe或Seldon Co… · 实现智能路由
多模型管理路由
19
模型版本控制与A/B测试
结合Istio或Nginx实现流量切…
A/B模型版本控制
20
批处理与异步推理
使用Kubernetes Job/C…
批处理异步推理
21
边缘与混合云部署
在边缘节点或混合云环境中部署大模型 · 考虑网络与延迟
边缘混合云部署
22
成本优化
利用Spot实例 · 节点自动伸缩 · 资源配额与限制降低推理成本
成本优化Spot
23
故障排查实战
常见问题（OOM · GPU不可用 · 镜像拉取失败
故障排查实战OOM
24
CI/CD流水线
使用GitHub Actions/G… · 测试并部署到Kubernetes
CI/CD流水线
25
案例实战一
部署Llama 3 8B模型到Kub… · 实现高并发推理
案例实战一Llama
26
案例实战二
部署多模态模型（如LLaVA）并集成…
案例实战二LLaVA
27
案例实战三
基于KEDA实现根据请求数自动伸缩的…
案例实战三KEDA
28
综合项目
设计并实现一个生产级大模型推理平台 · 涵盖高可用 · 弹性伸缩
综合项目设计并实现一个生…
29
最佳实践与经验总结
架构设计模式 · 常见陷阱 · 性能调优清单
最佳实践经验总结
30
课程总结与进阶方向
学习资源 · 认证路径 · 未来趋势（如Serverless推理
课程总结进阶方向