4. SRE值班台职责:值班SRE的日常任务、事件响应流程、值班交接规范
值班SRE是平台工程体系中“最后一公里”的守护者。值班台职责的清晰定义,直接决定了MTTR(平均修复时间)和值班疲劳度。本节从日常任务、事件响应流程、交接规范三个维度,构建可执行的值班SRE职责体系。
4.1 值班SRE日常任务清单
值班SRE的日常任务分为“主动巡检”与“被动响应”两类。主动巡检用于发现潜在风险,被动响应用于处理已发生的异常。以下为标准化日常任务清单:
| 时段 | 任务类别 | 具体任务 | 频率 | 工具/平台 |
|---|---|---|---|---|
| 接班后30分钟 | 状态同步 | 查看上一班次遗留事件、变更窗口、告警静默列表 | 每班次1次 | 值班交接看板、服务目录 |
| 整点 | 主动巡检 | 检查核心服务SLO达成率、错误预算消耗、关键延迟P99 | 每小时 | 监控仪表盘、SLO看板 |
| 每2小时 | 容量检查 | 检查CPU/内存/磁盘/网络水位,确认无突增 | 每2小时 | 基础设施监控、容量规划平台 |
| 按需 | 事件响应 | 处理P0-P3告警,执行事件响应流程 | 实时 | 告警平台、事件管理工具 |
| 交班前30分钟 | 交接准备 | 整理未关闭事件、更新值班日志、准备交接文档 | 每班次1次 | 值班交接模板、知识库 |
实践建议: 值班SRE应避免在交班前30分钟发起新的变更或执行高风险操作。这段时间应专门用于交接准备,确保信息不丢失。
4.2 事件响应流程
事件响应流程是值班SRE的核心工作流。标准化的响应流程能减少人为失误,缩短MTTR。以下为基于平台工程视角的“五步响应法”:
- 告警接收与确认:值班SRE在收到告警后,需在5分钟内确认告警,避免告警升级。确认动作包括:查看告警详情、确认影响范围、在事件管理工具中认领事件。
- 事件定级与分派:根据服务目录中定义的“影响度-紧急度”矩阵,将事件定为P0(严重)、P1(高)、P2(中)、P3(低)。P0/P1事件需立即启动应急响应群组,P2/P3事件可进入常规处理队列。
- 诊断与排查:值班SRE利用可观测性平台(日志、指标、链路追踪)进行根因分析。若在15分钟内无法定位,应主动升级至二线SRE或相关服务Owner。
- 恢复与缓解:优先恢复服务,而非追求完美根因修复。常见恢复手段包括:回滚变更、重启实例、切换流量、扩容资源。恢复后需在事件记录中注明“缓解措施”而非“根因修复”。
- 复盘与关闭:服务恢复后,值班SRE需填写事件复盘摘要,包括:时间线、影响时长、缓解动作、待办事项。P0/P1事件需在24小时内发起正式复盘会议。
关键指标: 值班SRE的事件响应流程应满足以下SLO:告警确认时间 ≤ 5分钟;P0事件响应时间(从告警到开始排查)≤ 10分钟;P0事件恢复时间(MTTR)≤ 60分钟。
以下SVG图展示了事件响应流程的完整状态流转:
4.3 值班交接规范
值班交接是信息传递的关键环节,也是值班SRE最容易出现信息断层的时刻。规范的交接流程应包含“书面交接”与“口头交接”双重保障。
4.3.1 交接内容清单
| 交接项 | 内容要求 | 交付物 |
|---|---|---|
| 未关闭事件 | 列出所有未关闭事件的事件ID、当前状态、已执行动作、待办事项 | 事件列表(含链接) |
| 进行中变更 | 列出所有进行中的变更单、变更窗口、回滚计划、审批状态 | 变更清单 |
| 告警静默/屏蔽 | 列出所有生效中的告警静默规则,包括静默原因、到期时间 | 静默规则列表 |
| 已知问题/风险 | 描述当前已知但未修复的已知问题、临时规避措施、预计修复时间 | 已知问题文档 |
| 关键指标异常 | 描述接班时段内出现的异常指标趋势、已采取的缓解措施 | 监控截图/趋势图 |
4.3.2 交接流程规范
- 书面交接准备:交班SRE在交班前30分钟,按照交接模板填写值班日志,确保所有信息完整、准确。
- 口头交接会议:交班SRE与接班SRE进行15分钟的口头交接会议,逐项讲解未关闭事件、进行中变更、已知风险。接班SRE可针对不理解的内容提问。
- 交接确认:接班SRE在值班交接看板上点击“确认接班”,系统自动记录交接时间、交接人、接班状态。若接班SRE认为信息不完整,可拒绝接班并要求补充。
- 交接后跟踪:接班SRE在接班后30分钟内,对未关闭事件进行状态确认,确保无遗漏。若发现交接信息与实际不符,需立即联系交班SRE澄清。
常见交接陷阱:
- 口头交接时只说“没什么问题”,但实际存在未关闭的P2事件。
- 告警静默规则未在交接中说明,导致接班SRE误判为无告警。
- 进行中变更的回滚计划未明确,接班SRE在变更失败时不知如何回滚。
以下SVG图展示了值班交接的完整流程与信息流:
4.4 值班SRE职责的度量与改进
值班SRE的职责执行情况需要通过量化指标进行度量,以便持续改进。以下为推荐的关键度量指标:
| 指标名称 | 定义 | 目标值 | 数据来源 |
|---|---|---|---|
| 告警确认时间 | 从告警触发到值班SRE确认的时间 | ≤ 5分钟 | 告警平台 |
| 事件响应时间 | 从告警确认到开始排查的时间 | ≤ 10分钟(P0) | 事件管理工具 |
| MTTR | 平均修复时间(从告警到恢复) | ≤ 60分钟(P0) | 事件管理工具 |
| 交接完整率 | 交接文档中信息完整的事件占比 | ≥ 95% | 值班交接看板 |
| 交接拒绝率 | 接班SRE拒绝接班的次数占比 | ≤ 5% | 值班交接看板 |
改进建议: 每月对值班SRE的度量指标进行回顾,识别瓶颈环节。例如,若告警确认时间过长,可考虑优化告警路由规则或增加值班SRE的告警通知渠道(如电话+即时消息双重通知)。