1. 课程导论：什么是告警自愈、为什么需要自愈、课程目标与前置知识
1.1 什么是告警自愈
告警自愈（Alert Self-Healing）是指监控系统在检测到异常指标并触发告警后，自动执行预定义的修复动作，使系统恢复到正常状态的过程。它打破了“人工告警→人工排查→人工修复”的传统运维闭环，将修复逻辑编码为自动化流程。
核心公式： 告警自愈 = 异常检测 + 自动化决策 + 修复执行 + 状态验证
在 Prometheus 生态中，告警自愈的典型路径为：
- 指标采集：Prometheus Server 从目标拉取指标。
- 告警规则评估：Alertmanager 根据规则判断是否触发告警。
- Webhook 发送：Alertmanager 将告警事件通过 HTTP POST 发送到自愈 API。
- 自愈执行：API 接收告警，执行脚本、调用云 API 或重启服务。
- 恢复确认：验证指标是否回归正常阈值。
1.2 为什么需要自愈
现代分布式系统的复杂性使得人工运维难以应对高频、瞬时的故障。以下是推动自愈落地的关键因素：
| 挑战 | 人工运维痛点 | 自愈方案价值 |
|---|---|---|
| 告警风暴 | 同一时段数百条告警，运维人员无法逐一处理 | 自动过滤、聚合、执行标准修复，降低 MTTR |
| 夜间/节假日故障 | 依赖值班人员响应，响应延迟高 | 7×24 小时自动执行，无需人工介入 |
| 重复性故障 | 同一问题反复出现，人工操作易出错 | 固化修复脚本，消除人为失误 |
| 恢复速度要求 | 人工排查平均 10-30 分钟 | 秒级到分钟级自动恢复 |
| 规模化运维 | 数千节点无法靠人力覆盖 | 自动化策略可水平扩展 |
关键指标： 引入告警自愈后，典型 MTTR（平均修复时间）可从 25 分钟降至 3 分钟以内，减少 85% 以上的人工介入。
1.3 课程目标
本课程旨在帮助学员掌握从 Prometheus 告警到自愈 API 的完整事件驱动链路。学完本课程，你将能够：
- 理解架构：掌握 Prometheus + Alertmanager + Webhook + 自愈 API 的集成原理。
- 开发自愈 API：使用 Python（FastAPI）或 Go（Gin）构建生产级自愈服务。
- 编写修复动作：实现容器重启、服务回滚、云资源扩缩容等常见修复逻辑。
- 保障可靠性：设计幂等、重试、限流、熔断等自愈 API 的健壮性机制。
- 监控自愈本身：对自愈系统进行可观测性建设，避免“自愈失效”。
1.4 前置知识
为获得最佳学习体验，建议学员具备以下基础：
| 领域 | 具体要求 | 说明 |
|---|---|---|
| Prometheus | 了解指标采集、PromQL 基础、告警规则配置 | 本课程不从头讲解 Prometheus 安装 |
| Python 或 Go | 至少熟悉一门语言的基础语法与 HTTP 编程 | 课程提供 Python 和 Go 双语言实现 |
| REST API | 理解 HTTP 方法、状态码、JSON 序列化 | 自愈 API 本质是 Web 服务 |
| Linux 基础 | 常用命令、进程管理、日志查看 | 修复动作通常在 Linux 环境执行 |
| Docker（可选） | 容器基本操作 | 部分实验使用容器部署 |
注意： 如果你对 Prometheus 告警规则和 Alertmanager 配置尚不熟悉，建议先学习官方基础教程或本系列的前置课程《Prometheus 监控入门》。
1.5 课程内容概览
本课程共 30 章，分为 5 个模块，结构如下：
1.6 学习建议
- 动手实践：每章都提供可运行的代码示例，建议在本地或云环境跟随操作。
- 循序渐进：模块一至模块五难度递增，不要跳过基础章节。
- 关注健壮性：模块四的幂等、重试、限流是生产环境的关键，务必理解原理。
- 利用社区：课程配套 GitHub 仓库提供完整代码，遇到问题可提交 Issue。