1. 课程导论：SLO自愈剧本的痛点与优化目标
在现代SRE实践中，SLO（Service Level Objective）自愈剧本是实现自动化故障恢复的核心手段。然而，许多团队在落地过程中发现：自愈剧本的触发条件过于粗糙，导致误触发、漏触发或恢复动作与真实故障不匹配。本课程将深入剖析这些痛点，并借助Grafana告警历史分析，系统性地优化触发条件。
1.1 什么是SLO自愈剧本？
SLO自愈剧本是一组预定义的自动化流程，当服务指标偏离SLO目标时自动执行，旨在无需人工介入即可将服务恢复到健康状态。典型的自愈剧本包含三个环节：
- 检测：通过Grafana告警规则识别SLO违规。
- 诊断：分析告警上下文，定位根因。
- 恢复：执行预定义动作（如重启实例、回滚版本、扩容副本）。
关键认知：自愈剧本的成败高度依赖触发条件的精确性。过于宽松的触发条件会导致“狼来了”效应，过于严格则可能错过真正的SLO违规。
1.2 当前自愈剧本的四大痛点
通过对多个生产环境的复盘，我们归纳出以下高频问题：
| 痛点 | 表现 | 典型后果 |
|---|---|---|
| 1. 触发条件过于静态 | 使用固定阈值（如错误率 > 5%），未考虑业务时段、流量波峰波谷 | 低峰期误触发，高峰期漏触发 |
| 2. 缺乏告警历史上下文 | 每次告警独立判断，未参考过去N次告警的模式、频率、恢复时长 | 重复告警风暴，自愈动作与历史模式冲突 |
| 3. 忽略告警关联性 | 单一指标触发即执行自愈，未关联上下游依赖或同类告警 | 恢复动作导致级联故障，或重复执行相同动作 |
| 4. 自愈动作与SLO目标脱节 | 触发条件基于原始指标（如CPU > 90%），而非SLO燃烧速率 | 自愈后SLO并未改善，或浪费资源在非关键问题上 |
1.3 优化目标：从“告警驱动”到“SLO驱动”
本课程的核心优化目标是将自愈剧本的触发条件从原始的告警驱动升级为SLO驱动。具体包括：
- 动态阈值：基于历史告警数据自动调整触发边界，适应业务周期性变化。
- 历史模式识别：利用Grafana告警历史分析，识别告警的周期性、趋势性和异常模式。
- 关联分析：在触发自愈前，自动检查关联告警、依赖服务和SLO燃烧速率。
- 反馈闭环：自愈动作执行后，自动评估对SLO的影响，并调整后续触发条件。
1.4 本课程的技术栈与交付物
我们将使用以下工具链实现优化目标：
| 工具/组件 | 在本课程中的角色 |
|---|---|
| Grafana | 告警规则管理、告警历史存储与可视化 |
| Prometheus / Loki | 指标与日志数据源，提供告警历史原始数据 |
| Python | 告警历史分析脚本、触发条件优化算法、自愈剧本编排 |
| Grafana API | 程序化获取告警历史、更新告警规则、触发自愈动作 |
通过本课程，你将获得：
- 一套基于Grafana告警历史数据的SLO自愈触发条件优化方法论。
- 可直接复用的Python分析脚本，用于提取告警模式、计算动态阈值。
- 一个Grafana仪表盘模板，用于监控自愈剧本的触发效果与SLO改善情况。
课程前置要求：熟悉Grafana告警基础配置、Python基础语法、基本的SLO概念。无需深度机器学习背景，本课程使用的算法以统计和规则引擎为主。