4. SRE值班台职责:值班SRE的日常任务、事件响应流程、值班交接规范

值班SRE是平台工程体系中“最后一公里”的守护者。值班台职责的清晰定义,直接决定了MTTR(平均修复时间)和值班疲劳度。本节从日常任务、事件响应流程、交接规范三个维度,构建可执行的值班SRE职责体系。

4.1 值班SRE日常任务清单

值班SRE的日常任务分为“主动巡检”与“被动响应”两类。主动巡检用于发现潜在风险,被动响应用于处理已发生的异常。以下为标准化日常任务清单:

时段 任务类别 具体任务 频率 工具/平台
接班后30分钟 状态同步 查看上一班次遗留事件、变更窗口、告警静默列表 每班次1次 值班交接看板、服务目录
整点 主动巡检 检查核心服务SLO达成率、错误预算消耗、关键延迟P99 每小时 监控仪表盘、SLO看板
每2小时 容量检查 检查CPU/内存/磁盘/网络水位,确认无突增 每2小时 基础设施监控、容量规划平台
按需 事件响应 处理P0-P3告警,执行事件响应流程 实时 告警平台、事件管理工具
交班前30分钟 交接准备 整理未关闭事件、更新值班日志、准备交接文档 每班次1次 值班交接模板、知识库
实践建议: 值班SRE应避免在交班前30分钟发起新的变更或执行高风险操作。这段时间应专门用于交接准备,确保信息不丢失。

4.2 事件响应流程

事件响应流程是值班SRE的核心工作流。标准化的响应流程能减少人为失误,缩短MTTR。以下为基于平台工程视角的“五步响应法”:

  1. 告警接收与确认:值班SRE在收到告警后,需在5分钟内确认告警,避免告警升级。确认动作包括:查看告警详情、确认影响范围、在事件管理工具中认领事件。
  2. 事件定级与分派:根据服务目录中定义的“影响度-紧急度”矩阵,将事件定为P0(严重)、P1(高)、P2(中)、P3(低)。P0/P1事件需立即启动应急响应群组,P2/P3事件可进入常规处理队列。
  3. 诊断与排查:值班SRE利用可观测性平台(日志、指标、链路追踪)进行根因分析。若在15分钟内无法定位,应主动升级至二线SRE或相关服务Owner。
  4. 恢复与缓解:优先恢复服务,而非追求完美根因修复。常见恢复手段包括:回滚变更、重启实例、切换流量、扩容资源。恢复后需在事件记录中注明“缓解措施”而非“根因修复”。
  5. 复盘与关闭:服务恢复后,值班SRE需填写事件复盘摘要,包括:时间线、影响时长、缓解动作、待办事项。P0/P1事件需在24小时内发起正式复盘会议。
关键指标: 值班SRE的事件响应流程应满足以下SLO:告警确认时间 ≤ 5分钟;P0事件响应时间(从告警到开始排查)≤ 10分钟;P0事件恢复时间(MTTR)≤ 60分钟。

以下SVG图展示了事件响应流程的完整状态流转:

SRE值班台事件响应流程 事件响应五步流转图 ① 告警接收与确认 ② 事件定级与分派 ③ 诊断与排查 超时升级二线 ④ 恢复与缓解 ⑤ 复盘与关闭 说明:P0/P1事件需在24小时内发起正式复盘;P2/P3事件可简化复盘流程。

4.3 值班交接规范

值班交接是信息传递的关键环节,也是值班SRE最容易出现信息断层的时刻。规范的交接流程应包含“书面交接”与“口头交接”双重保障。

4.3.1 交接内容清单

交接项 内容要求 交付物
未关闭事件 列出所有未关闭事件的事件ID、当前状态、已执行动作、待办事项 事件列表(含链接)
进行中变更 列出所有进行中的变更单、变更窗口、回滚计划、审批状态 变更清单
告警静默/屏蔽 列出所有生效中的告警静默规则,包括静默原因、到期时间 静默规则列表
已知问题/风险 描述当前已知但未修复的已知问题、临时规避措施、预计修复时间 已知问题文档
关键指标异常 描述接班时段内出现的异常指标趋势、已采取的缓解措施 监控截图/趋势图

4.3.2 交接流程规范

  1. 书面交接准备:交班SRE在交班前30分钟,按照交接模板填写值班日志,确保所有信息完整、准确。
  2. 口头交接会议:交班SRE与接班SRE进行15分钟的口头交接会议,逐项讲解未关闭事件、进行中变更、已知风险。接班SRE可针对不理解的内容提问。
  3. 交接确认:接班SRE在值班交接看板上点击“确认接班”,系统自动记录交接时间、交接人、接班状态。若接班SRE认为信息不完整,可拒绝接班并要求补充。
  4. 交接后跟踪:接班SRE在接班后30分钟内,对未关闭事件进行状态确认,确保无遗漏。若发现交接信息与实际不符,需立即联系交班SRE澄清。
常见交接陷阱:
  • 口头交接时只说“没什么问题”,但实际存在未关闭的P2事件。
  • 告警静默规则未在交接中说明,导致接班SRE误判为无告警。
  • 进行中变更的回滚计划未明确,接班SRE在变更失败时不知如何回滚。
避免方法:强制使用交接模板,逐项勾选确认,拒绝“口头承诺式”交接。

以下SVG图展示了值班交接的完整流程与信息流:

SRE值班交接流程 值班交接规范流程 交班SRE ① 填写值班日志(交班前30分钟) ② 准备交接文档(事件/变更/风险) ③ 发起口头交接会议 接班SRE ④ 接收交接文档并提问 ⑤ 确认接班(点击确认按钮) ⑥ 接班后30分钟跟踪确认 说明:若接班SRE认为信息不完整,可拒绝接班并要求补充,系统记录拒绝原因。

4.4 值班SRE职责的度量与改进

值班SRE的职责执行情况需要通过量化指标进行度量,以便持续改进。以下为推荐的关键度量指标:

指标名称 定义 目标值 数据来源
告警确认时间 从告警触发到值班SRE确认的时间 ≤ 5分钟 告警平台
事件响应时间 从告警确认到开始排查的时间 ≤ 10分钟(P0) 事件管理工具
MTTR 平均修复时间(从告警到恢复) ≤ 60分钟(P0) 事件管理工具
交接完整率 交接文档中信息完整的事件占比 ≥ 95% 值班交接看板
交接拒绝率 接班SRE拒绝接班的次数占比 ≤ 5% 值班交接看板
改进建议: 每月对值班SRE的度量指标进行回顾,识别瓶颈环节。例如,若告警确认时间过长,可考虑优化告警路由规则或增加值班SRE的告警通知渠道(如电话+即时消息双重通知)。