3. 自愈系统概述
3.1 自愈的定义
自愈（Self-Healing）是指系统在检测到自身运行状态异常或性能劣化时，无需人工干预，自动触发预定义的恢复流程，将系统恢复到正常服务状态的能力。它不仅仅是简单的重启或回滚，而是一套集感知、决策、执行、验证于一体的闭环机制。
核心公式：自愈 = 异常检测 + 根因定位 + 自动恢复 + 状态验证
在SRE实践中，自愈系统通常以“自愈剧本”的形式存在。每个剧本针对一类已知故障模式，定义了从触发条件到恢复验证的完整步骤。
3.2 自愈系统的核心目标
自愈系统的设计围绕以下四个核心目标展开，这些目标直接服务于降低MTTR（平均修复时间）和提升系统可用性：
| 目标 | 说明 | 关键指标 |
|---|---|---|
| 缩短MTTR | 将故障发现、定位、恢复的时间从分钟级压缩到秒级或亚分钟级 | MTTR ≤ 5 min（目标） |
| 减少人工干预 | 消除重复性、标准化的故障响应操作，释放SRE人力 | 自愈覆盖率 ≥ 80% |
| 提升恢复成功率 | 通过标准化剧本和验证机制，确保恢复动作的有效性 | 首次恢复成功率 ≥ 95% |
| 避免故障扩散 | 在故障影响扩大前快速隔离，防止级联故障 | 爆炸半径控制 ≤ 1 个AZ |
实践要点：核心目标之间需要权衡。例如，追求极致的MTTR可能会增加误恢复的风险，因此必须配合完善的熔断和回滚机制。
3.3 自愈与自动化运维的区别
很多团队容易将自愈与自动化运维混淆。两者虽然都依赖自动化技术，但在目标、触发方式和决策复杂度上存在本质差异。
| 维度 | 自动化运维 | 自愈系统 |
|---|---|---|
| 触发方式 | 定时触发、人工触发、CI/CD事件触发 | 异常事件驱动、指标阈值触发 |
| 决策逻辑 | 线性执行、固定流程 | 条件分支、根因分析、风险判断 |
| 反馈机制 | 执行完成即结束 | 执行后验证、失败回滚、升级告警 |
| 典型场景 | 定时备份、批量部署、日志轮转 | 进程挂掉自动拉起、慢查询自动限流、磁盘满自动清理 |
| 失败处理 | 记录日志，人工介入 | 自动回滚、切换备用方案、升级通知 |
常见误区：不要将“自动化脚本”等同于“自愈”。一个没有验证和回滚机制的自动重启脚本，在特定场景下可能造成更严重的二次故障。
3.4 自愈系统的成熟度模型
为了评估和规划自愈能力建设，业界通常将自愈系统划分为五个成熟度等级。每个等级代表了不同的自动化深度和智能程度。
各成熟度等级的关键特征与建设重点如下：
| 等级 | 名称 | 关键特征 | 建设重点 |
|---|---|---|---|
| L1 | 人工响应 | 无自动化恢复，依赖值班人员 | 完善监控告警体系 |
| L2 | 辅助自愈 | 系统推荐操作，人工审批后执行 | 构建知识库和剧本模板 |
| L3 | 条件自愈 | 针对已知故障全自动执行 | 标准化剧本、灰度执行、回滚机制 |
| L4 | 智能自愈 | 多维度根因分析，动态决策 | AI/ML模型、依赖图谱、风险评分 |
| L5 | 预测自愈 | 故障发生前主动规避 | 时序预测、容量规划、混沌工程 |
成熟度评估建议：建议每季度对核心业务系统进行一次自愈成熟度评估。从L2起步，优先覆盖“进程挂掉”、“磁盘满”、“慢查询”等高频率、低风险的故障场景，逐步向L3和L4演进。