1. GameDay 演练概述
1.1 什么是 GameDay
GameDay 是一种受控的、计划性的故障注入与恢复演练，起源于 Netflix 的 Chaos Engineering 实践。SRE 团队在预生产或生产环境中模拟真实故障（如实例宕机、网络分区、流量突增、依赖服务超时），验证系统在异常状态下的行为是否符合预期，并检验监控、告警、自动伸缩、容灾切换等能力是否有效。
与传统的“压测”不同，GameDay 强调全链路观测性与团队协作响应，而非单纯追求吞吐量极限。每一次 GameDay 都是一次“有剧本的灾难电影”，SRE 工程师既是导演也是演员，通过演练暴露系统盲区，沉淀改进项。
核心原则：GameDay 不是破坏，而是通过可控的故障来建立对系统韧性的信心。
1.2 演练目标
GameDay 演练围绕以下四个维度设定可量化的目标：
| 目标维度 | 具体描述 | 典型验证指标 |
|---|---|---|
| 监控有效性 | 故障发生后，Grafana 仪表盘能否在预期时间内呈现异常信号 | MTTD（平均发现时间）≤ 2 min |
| 告警准确性 | 告警规则是否触发正确级别，是否存在误报/漏报 | 告警准确率 ≥ 95% |
| 容量弹性 | 系统能否在资源水位超限时自动伸缩或降级 | 弹性伸缩生效时间 ≤ 5 min |
| 恢复效率 | 从故障注入到业务完全恢复的时长 | MTTR（平均恢复时间）≤ 15 min |
建议：每次 GameDay 只聚焦 1–2 个目标维度，避免演练范围过大导致复盘结论模糊。
1.3 容量水位监控在 GameDay 中的角色
容量水位监控是 GameDay 演练的“仪表盘”——它实时反映系统资源（CPU、内存、磁盘、网络、连接数、队列深度等）的消耗程度与剩余空间。在演练中，容量水位监控承担三个关键角色：
- 故障触发信号源：通过预设的水位阈值（如 CPU > 80%），自动触发 GameDay 的“故障注入”阶段，确保演练在真实负载压力下启动。
- 影响范围判定依据：当故障注入后，容量水位曲线是否出现异常拐点，直接决定该故障是否对系统产生了实质性影响。
- 恢复状态验证工具：演练结束后，水位指标回归基线水平是判定“系统已恢复”的核心证据之一。
下图展示了 GameDay 演练中容量水位监控与各环节的关系：
1.4 容量水位口径状态定义
在 GameDay 演练中，容量水位并非单一指标，而是由一组“口径状态”构成的复合视图。每个口径代表一个资源维度的健康等级：
| 口径状态 | 颜色标识 | 含义 | 典型阈值（以 CPU 为例） |
|---|---|---|---|
| 健康 | 绿色 | 资源充裕，系统运行正常 | 使用率 < 60% |
| 关注 | 黄色 | 资源消耗上升，需观察趋势 | 使用率 60% – 79% |
| 告警 | 橙色 | 资源紧张，可能影响性能 | 使用率 80% – 89% |
| 危险 | 红色 | 资源耗尽风险，需立即干预 | 使用率 ≥ 90% |
注意：口径状态阈值需根据业务场景动态调整。例如，在线交易系统的 CPU 告警阈值可能设为 70%，而离线批处理系统可放宽至 90%。GameDay 演练中应使用与生产环境一致的阈值配置。
通过 Grafana 仪表盘，SRE 团队可以在一个视图中同时观察多个资源维度的口径状态，快速定位演练过程中的容量瓶颈。下图展示了多维度口径状态的聚合视图：
1.5 演练流程与容量水位的关系
一次标准的 GameDay 演练包含以下阶段，容量水位监控在每个阶段都有明确职责：
- 准备阶段：在 Grafana 中预制容量水位仪表盘，设定口径状态阈值，配置告警规则。
- 基线采集：演练开始前记录 5–10 分钟的稳态水位数据，作为后续对比基准。
- 故障注入：通过混沌工程工具（如 Chaos Mesh、Litmus）注入故障，同时观察水位曲线是否出现预期偏移。
- 观测与响应：SRE 团队通过 Grafana 仪表盘实时监控水位变化，判断是否触发自动伸缩或人工干预。
- 恢复与复盘：故障解除后，确认水位回归基线，导出演练期间的 Grafana 快照用于复盘分析。
最佳实践：在 Grafana 中为每个 GameDay 演练创建独立的“演练仪表盘”文件夹，包含水位总览、单维度详情、告警时间线三个面板，方便演练过程中快速切换视角。