VIP20
本课程属于：045-事故值班轮转机器人 DevOps、SRE 与可观测性工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

事故响应值班机器人Runbook自动化故障自愈案例

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
值班机器人概述
什么是值班机器人 · 值班机器人在SRE中的角色 · 自动化故障自愈的价值与挑战
值班机器人概述什么是值班机器人
02
Runbook基础概念
Runbook的定义 · Runbook的组成要素（触发器 · 条件
Runbook基础概念
03
值班机器人架构设计
值班机器人整体架构图 · 事件输入层 · 决策引擎层
值班机器人架构设…值班机器人整体架…
04
事件源接入
Prometheus告警接入 · Zabbix告警接入 · 云监控（阿里云/腾讯云/AWS）告警…
事件源接入Prometheus
05
告警去重与降噪
告警风暴问题 · 基于时间窗口的去重策略 · 基于相似度的聚合算法
告警去重降噪
06
告警分级与优先级
P0/P1/P2/P3分级标准 · 基于影响范围与紧急度的优先级计算 · 动态优先级调整
告警分级优先级
07
Runbook触发器设计
基于告警标签的匹配规则 · 基于告警内容的正则匹配 · 多条件组合触发器
Runbook触发器设计
08
Runbook动作编排
动作类型（SSH命令 · API调用 · K8s操作
Runbook动作编排
09
故障自愈之进程级恢复
进程挂掉检测 · 自动拉起脚本 · systemd服务自愈
故障自愈之进程级…进程挂掉检测
10
故障自愈之磁盘空间清理
磁盘使用率告警触发 · 日志清理策略（按时间/按大小） · 临时文件清理
故障自愈之磁盘空…磁盘使用率告警触…
11
故障自愈之服务重启
优雅重启与强制重启 · 服务依赖检查 · 重启后健康检查
故障自愈之服务重…优雅重启
12
故障自愈之流量调度
基于DNS的流量切换 · 基于负载均衡器的摘流 · 灰度发布与回滚
故障自愈之流量调…DNS
13
故障自愈之数据库故障处理
数据库连接池耗尽自愈 · 慢查询自动Kill · 主从切换自动化
故障自愈之数据库…数据库连接池耗尽…
14
故障自愈之K8s Pod自愈
Pod CrashLoopBackO… · 自动删除与重建 · HPA自动扩缩容
K8sPod
15
故障自愈之网络故障处理
网络连通性检测 · DNS解析异常修复 · 防火墙规则自动调整
故障自愈之网络故…网络连通性检测
16
故障自愈之证书过期处理
证书过期告警 · 自动续签（Let's Encrypt… · 证书部署与验证
故障自愈之证书过…证书过期告警
17
故障自愈之配置错误回滚
配置变更检测 · 配置备份与版本管理 · 自动回滚到上一稳定版本
故障自愈之配置错…配置变更检测
18
故障自愈之缓存故障处理
缓存击穿/雪崩检测 · 缓存预热 · 缓存集群节点摘除与恢复
故障自愈之缓存故…缓存击穿
19
故障自愈之消息队列积压处理
消息积压告警 · 消费者扩容 · 死信队列处理
故障自愈之消息队…消息积压告警
20
值班机器人安全与权限控制
最小权限原则 · SSH密钥管理 · API 轮换
值班机器人安全权限控制
21
值班机器人人机交互
告警通知（钉钉/企微/飞书/Slac… · 确认与驳回机制 · 人工介入通道
值班机器人人机交…Slac
22
Runbook测试与演练
单元测试Runbook · 集成测试环境搭建 · 混沌工程与故障注入
Runbook测试
23
Runbook版本管理与CI/CD
Runbook代码仓库管理 · 版本号规范 · 自动化测试流水线
RunbookCI/CD
24
值班机器人监控与自监控
机器人自身健康监控 · Runbook执行成功率统计 · 执行耗时分布
值班机器人监控自监控
25
故障自愈效果度量
MTTR（平均修复时间）降低 · MTBF（平均故障间隔）提升 · 自愈成功率
故障自愈效果度量MTTR
26
值班机器人高可用部署
多活部署架构 · 故障转移机制 · 数据持久化与一致性
值班机器人高可用…多活部署架构
27
值班机器人扩展开发
自定义Action插件开发 · 自定义触发器开发 · 自定义数据源接入
值班机器人扩展开…Action
28
值班机器人日志与审计
全链路日志追踪 · 操作审计记录 · 日志存储与查询
值班机器人日志审计
29
值班机器人最佳实践
告警阈值合理设置 · Runbook粒度控制 · 避免自愈风暴
值班机器人最佳实…告警阈值合理设置
30
综合实战案例
电商大促期间全链路故障自愈 · 多云环境下的统一值班机器人 · 从告警到自愈的完整闭环演示
综合实战案例电商大促期间全链…