3. Runbook 基础：定义、角色与标准化结构
在 SRE 实践中，Runbook 是连接“告警”与“行动”的核心操作手册。当 Error Budget 超支触发告警后，SRE 工程师的第一反应不是“思考如何修复”，而是“打开对应的 Runbook”。本章将系统讲解 Runbook 的定义、在 SRE 体系中的关键角色，以及标准化的结构模板，为后续设计自愈流程奠定基础。
3.1 什么是 Runbook
Runbook（运行手册）是一份结构化的操作文档，它详细描述了在特定运维场景下，工程师需要执行的一系列步骤、命令、检查点和回退方案。它不是一本“百科全书”，而是一份“应急操作指南”。
核心定义： Runbook = 可重复执行的标准化操作流程，用于处理已知的运维事件、故障或变更任务。
一个优秀的 Runbook 具备以下特征：
- 可操作性： 每一步都明确、具体，无需现场猜测。
- 可验证： 每一步都有明确的预期输出或检查点。
- 可回退： 包含失败时的回滚或降级方案。
- 版本化： 随系统演进持续更新，与代码库同源管理。
3.2 Runbook 在 SRE 中的角色
在 SRE 的可观测性与故障响应体系中，Runbook 扮演着三个关键角色：
| 角色 | 说明 | 对 Error Budget 的影响 |
|---|---|---|
| 故障响应加速器 | 将“思考-排查-修复”的认知过程，压缩为“定位-执行”的机械过程，显著缩短 MTTR（平均修复时间）。 | MTTR 越短，Error Budget 消耗越少。 |
| 知识沉淀载体 | 将资深工程师的隐性经验转化为显性文档，降低对特定个人的依赖，提升团队整体响应能力。 | 减少因“无人会修”导致的长时间故障。 |
| 自动化前置条件 | 只有被标准化为 Runbook 的流程，才能被安全地转化为自动化脚本或自愈触发器。没有 Runbook 的自动化是危险的。 | 自愈流程直接依赖 Runbook 的标准化程度。 |
SRE 黄金法则： 没有 Runbook 的告警，本质上是一次“未知事件”。Error Budget 超支告警必须绑定一个经过演练的 Runbook。
下图展示了 Runbook 在 SRE 事件响应生命周期中的位置：
3.3 Runbook 的标准化结构
为了确保 Runbook 在紧急时刻能被快速理解和执行，SRE 团队通常采用统一的标准化结构。以下是业界通用的 Runbook 模板，也是本课程后续自愈流程设计的蓝本：
| 章节 | 字段 | 说明 | 示例（Error Budget 超支场景） |
|---|---|---|---|
| 元数据 | Runbook ID / 名称 / 版本 / 负责人 | 唯一标识，便于索引和版本管理 | ID: RB-ERR-001 / 版本: v2.3 |
| 触发条件 | 告警规则 / 阈值 / 关联指标 | 明确什么情况下执行本 Runbook | Error Budget 消耗率 > 120% 持续 10 分钟 |
| 前置检查 | 确认影响范围 / 当前状态快照 | 执行前必须验证的条件 | 确认告警非误报；确认主备状态 |
| 操作步骤 | 步骤编号 / 操作描述 / 预期结果 | 核心内容，每一步必须可验证 | Step 1: 执行扩容命令 → 预期: Pod 数增加 |
| 验证步骤 | 验证指标 / 验证命令 | 确认操作是否生效 | 检查 Error Budget 消耗率是否回落 |
| 回退方案 | 回滚命令 / 降级策略 | 操作失败或产生副作用时的补救措施 | 执行缩容回滚；切换至备用集群 |
| 事后备注 | 已知风险 / 相关链接 / 历史故障 | 补充信息，帮助工程师理解上下文 | 参考故障记录 #INC-2024-0312 |
常见误区： 很多团队将 Runbook 写成“系统架构说明”或“排障思路分析”。Runbook 必须是“操作指令集”，而不是“知识文档”。如果工程师需要阅读 5 分钟才能理解第一步做什么，这个 Runbook 就是失败的。
下图展示了标准化 Runbook 的结构层次与执行流向：
3.4 标准化 Runbook 的编写原则
在编写 Error Budget 超支相关的 Runbook 时，请遵循以下原则：
- 以指标驱动： 每一步的预期结果必须对应一个可观测指标（如 Error Budget 剩余百分比、P99 延迟、错误率）。
- 避免假设： 不要假设执行者了解系统上下文。所有命令、路径、参数必须完整写出。
- 包含超时判断： 每一步应注明“等待时间”和“超时后的处理方式”。
- 定期演练： 每个 Runbook 至少每季度进行一次桌面推演或混沌工程演练，确保步骤仍然有效。
关键指标： 一个健康的 Runbook 库，其“Runbook 覆盖率”应达到 100%——即所有 P0/P1 告警都必须有对应的 Runbook。Error Budget 超支告警属于 P0 级别，必须优先覆盖。