VIP20
本课程属于：018-AI DevOps实战：从代码到部署全自动化 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kubernetes AI服务自动扩缩容机制精讲

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · Kubernetes与AI服务扩缩容…
课程导入学习目标
02
Kubernetes基础回顾
Pod · Deployment · Service
Kubernetes基础回顾
03
AI服务特点与扩缩容挑战
GPU资源 · 模型加载 · 推理延迟
AI服务特点
04
水平Pod自动扩缩容（HPA）原理
控制循环 · 指标采集 · 目标值设定
PodHPA
05
HPA实践
基于CPU/内存的自动扩缩容配置与演…
HPACPU
06
自定义指标扩缩容
Prometheus Adapter · 自定义API指标
自定义指标扩缩容Prometheus
07
基于外部指标的扩缩容
云厂商服务（如AWS SQS）集成
基于外部指标的扩…AWS
08
垂直Pod自动扩缩容（VPA）原理
资源推荐 · 更新策略
PodVPA
09
VPA实践
部署VPA · 配置资源请求与限制
VPA部署
10
HPA与VPA结合使用
策略 · 注意事项
HPAVPA
11
Cluster Autoscaler
节点级扩缩容原理与配置
ClusterAutoscaler
12
Cluster Autoscaler实践
节点池 · 最大最小节点数
ClusterAutoscaler
13
Kubernetes Event-driven Autoscaling（KEDA
架构与核心概念
KubernetesEvent-driven
14
KEDA实践
基于Kafka · RabbitMQ等消息队列的扩缩容
KEDAKafka
15
AI工作负载扩缩容特殊考虑
GPU共享 · 模型缓存 · 批处理
AI工作负载扩缩容特…
16
基于请求队列长度的扩缩容
实现与调优
基于请求队列长度…实现
17
基于推理延迟的扩缩容
指标选择与目标设置
基于推理延迟的扩…指标选择
18
基于GPU利用率的扩缩容
DCGM exporter · 自定义指标
GPU基于
19
多指标组合扩缩容
HPA多指标 · 自定义算法
多指标组合扩缩容HPA
20
扩缩容稳定性
抖动处理 · 冷却时间 · 降级策略
扩缩容稳定性抖动处理
21
扩缩容性能测试
负载生成 · 指标监控 · 效果评估
扩缩容性能测试负载生成
22
案例实战
部署一个AI推理服务并配置HPA
案例实战AI
23
案例实战
使用KEDA实现基于消息队列的自动扩…
案例实战KEDA
24
案例实战
结合Cluster Autoscal…
案例实战Cluster
25
常见问题与故障排查
扩缩容不触发 · 指标缺失 · 资源不足
常见问题故障排查
26
成本优化
利用扩缩容节省GPU成本 · Spot实例使用
成本优化GPU
27
安全与权限
RBAC配置 · 指标访问控制
安全权限
28
监控与告警
Prometheus · Grafana可视化扩缩容指标
监控告警
29
最佳实践总结
设计模式 · 注意事项 · 未来趋势
最佳实践总结设计模式
30
综合项目
构建一个完整的AI服务自动扩缩容平台
综合项目AI