首页
›
DevOps、SRE 与可观测性工程
›
043-SLO告警自愈剧本
›
《SLO自愈剧本与Kubernetes容器编排联动实践》
VIP20
本课程属于:043-SLO告警自愈剧本
DevOps、SRE 与可观测性工程 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
SLO自愈剧本与Kubernetes容器编排联动实践
共计 30 章节
点击此处阅读海量试读课程:100+行业、1000+细分领域
01
SLO基础概念
定义SLO · SLI · 错误预算
SLO
基础概念
02
Kubernetes核心编排概念
Pod · Deployment · Service
Kubernetes
核心编排概念
03
自愈剧本概念
什么是自愈剧本 · 剧本的生命周期(检测-决策-执行-验…
自愈剧本概念
什么是自愈剧本
04
SLO与K8s联动架构
整体架构图 · 展示Prometheus -> Al…
SLO
K8s
05
Prometheus SLI采集
配置Prometheus采集应用延迟 · 错误率 · 饱和度等SLI指标
Prometheus
SLI
06
错误预算计算与告警
基于SLI计算错误预算 · 配置Prometheus Alert…
错误预算计算
告警
07
Alertmanager Webhook配置
配置Alertmanager将SLO…
Alertmanager
Webhook
08
自愈剧本引擎设计
设计一个轻量级剧本引擎 · 支持YAML定义剧本步骤(条件 · 动作
自愈剧本引擎设计
设计一个轻量级剧…
09
剧本动作1
水平扩缩容:编写剧本动作 · 通过K8s API调整Deploym…
剧本动作1
水平扩缩容
10
剧本动作2
滚动更新与回滚:编写剧本动作 · 触发Deployment滚动更新(如…
剧本动作2
滚动更新
11
剧本动作3
重启Pod/驱逐节点:编写剧本动作 · 优雅重启Pod或对节点进行cordo…
剧本动作3
Pod
12
剧本动作4
配置变更:编写剧本动作 · 通过ConfigMap/Secret…
剧本动作4
配置变更
13
剧本动作5
调用外部混沌工程:编写剧本动作 · 触发Chaos Mesh/Litmu…
剧本动作5
调用外部混沌工程
14
剧本条件判断
在剧本中集成条件判断(如错误预算剩余… · 当前副本数 · 时间窗口)
剧本条件判断
剧本
15
剧本回滚机制
设计自动回滚策略 · 当自愈动作导致SLO进一步恶化时 · 自动撤销操作
剧本回滚机制
设计自动回滚策略
16
K8s Operator开发基础
使用Kubebuilder或Oper…
K8s
Operator
17
自愈剧本CRD设计
设计自定义资源SelfHealing… · 包含SLO阈值 · 动作列表
CRD
自愈剧本
18
Operator调和逻辑
编写Reconcile逻辑 · 监听SLO告警事件并触发对应的自愈剧…
Operator
逻辑
19
多集群自愈场景
设计跨集群的自愈剧本 · 通过Federation或Clust…
多集群自愈场景
设计跨集群的自愈…
20
自愈剧本安全
RBAC权限最小化 · Webhook认证 · 敏感信息(如)管理
自愈剧本安全
RBAC
21
自愈剧本可观测性
记录剧本执行日志 · Metrics(执行次数 · 成功率
自愈剧本可观测性
记录剧本执行日志
22
自愈剧本测试
单元测试 · 集成测试(使用envtest) · 混沌测试验证剧本正确性
自愈剧本测试
单元测试
23
案例1
延迟突增自愈 · 自动扩容并更换镜像为优化版本
案例1
延迟突增自愈
24
案例2
错误率飙升自愈 · 自动回滚至上一稳定版本并重启Pod
案例2
错误率飙升自愈
25
案例3
节点故障自愈 · 自动驱逐Pod到其他节点并扩容
案例3
节点故障自愈
26
案例4
内存泄漏自愈:当Pod内存持续增长时 · 自动重启Pod并触发告警通知开发
案例4
Pod
27
案例5
证书过期自愈:当TLS证书即将过期时 · 自动从Secret更新证书并重启In…
案例5
TLS
28
自愈剧本的灰度发布
先在小比例Pod上执行自愈动作 · 观察SLO变化后再全量执行
自愈剧本的灰度发…
Pod
29
自愈剧本的SLA保障
确保自愈剧本自身的高可用(多副本 · Leader选举 · 幂等性)
SLA
自愈剧本的
30
总结与最佳实践
SLO自愈剧本的适用场景 · 常见陷阱 · 未来演进方向(AIOps集成)
最佳实践
SLO
所属VIP或分类
同VIP:error-budget消耗模型:指导SLO自愈阈值设定
同VIP:error-budget触发自愈剧本门禁
同VIP:Grafana告警到Runbook参数映射