VIP20
本课程属于：043-SLO告警自愈剧本 DevOps、SRE 与可观测性工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Runbook自动化执行：SLO告警后的故障恢复流程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
SLO基础概念
什么是SLO · SLI · SLA
SLO基础概念
02
SLO告警体系
告警规则设计原则 · 燃烧速率告警 · 多窗口多燃烧速率策略
SLO告警体系
03
Runbook概述
什么是Runbook · Runbook在故障恢复中的作用 · 自动化Runbook的价值
Runbook什么是
04
故障恢复流程总览
从告警触发到故障关闭的完整生命周期
故障恢复流程总览从告警触发到故障…
05
告警接收与解析
告警通知渠道配置（PagerDuty… · 告警内容结构化解析
告警接收PagerDuty
06
告警分类与定级
根据SLO剩余预算 · 燃烧速率 · 影响范围进行告警分级（P0/P1/P…
告警分类定级
07
自动化触发机制
Webhook接收 · 事件驱动架构 · 定时轮询与状态机设计
自动化触发机制Webhook
08
故障确认与抑制
自动确认告警 · 抑制重复告警 · 防抖机制设计
故障确认抑制
09
上下文信息收集
自动拉取Pod日志 · Metrics指标 · Trace链路
上下文信息收集Pod
10
根因定位辅助
基于时间序列的异常检测 · 日志聚类 · 调用链分析
根因定位辅助基于时间序列的异…
11
故障隔离策略
流量切换 · 熔断降级 · 限流
故障隔离策略流量切换
12
自动恢复动作
重启服务 · 扩容Pod · 回滚版本
自动恢复动作重启服务
13
健康检查验证
自定义Probe · SLO指标回检 · 端到端探测
健康检查验证Probe
14
通知升级机制
若自动恢复失败 · 逐级通知值班工程师 · 技术负责人
通知升级机制若自动恢复失败
15
人工介入接口
提供暂停自动化 · 手动执行步骤 · 回退操作的API/UI
人工介入接口提供暂停自动化
16
故障关闭与复盘
自动关闭告警 · 生成故障报告 · 更新SLO燃烧预算
故障关闭复盘
17
Runbook版本管理
GitOps管理Runbook脚本 · 版本回滚 · 审批流程
Runbook版本管理
18
Runbook测试与演练
混沌工程集成 · 定期故障注入测试 · 覆盖率检查
Runbook测试
19
多环境适配
开发/测试/生产环境差异化配置 · 变量注入 · 环境感知
多环境适配开发
20
安全与权限控制
最小权限原则 · 敏感信息加密（Vault） · 操作审计日志
安全权限控制
21
集成监控平台
Prometheus/Grafana… · Datadog事件集成 · Zabbix联动
集成监控平台Prometheus/G…
22
集成变更平台
与Spinnaker/ArgoCD联… · 自动回滚最近一次变更
集成变更平台Spinnaker/Ar…
23
集成CMDB
自动获取服务依赖 · 主机信息 · 负责人
CMDB集成
24
集成ChatOps
通过Slack/钉钉机器人交互 · 执行命令 · 查看状态
ChatOps集成
25
故障场景库
常见故障模式（慢查询 · 内存泄漏 · 网络分区）的Runbook模板
故障场景库常见故障模式
26
数据库故障恢复
慢SQL Kill · 连接池调整 · 主从切换
数据库故障恢复SQL
27
微服务故障恢复
服务重启 · 实例摘除 · 流量权重调整
微服务故障恢复服务重启
28
基础设施故障恢复
节点排水 · 自动替换Pod · 云资源弹性伸缩
基础设施故障恢复节点排水
29
Runbook效果度量
MTTR · 恢复成功率 · 自动化覆盖率
Runbook效果度量
30
持续优化
基于故障复盘改进Runbook · A/B测试不同恢复策略 · 知识沉淀
持续优化Runbook