4. GameDay 整体流程：计划、准备、执行、复盘、改进
容量水位口径复测的 GameDay 遵循标准故障演练生命周期，分为五个连续阶段。每个阶段都有明确的输入、输出和关键决策点，确保复测活动可追溯、可衡量、可改进。
核心原则：GameDay 不是一次性的“压力测试”，而是一个持续改进闭环。每个阶段都必须产出可量化的工件（文档、指标、报告），否则复测结果无法沉淀为容量水位基线。
4.1 五阶段全景流程
下图展示了 GameDay 从启动到落地的完整链路，其中“执行阶段”是复测的核心动作窗口，“改进阶段”是水位口径校准的价值兑现环节。
4.2 计划阶段（Plan）
计划阶段是 GameDay 的“蓝图绘制”环节。对于容量水位口径复测，本阶段的核心任务是明确复测目标、水位口径范围和成功标准。
| 工作项 | 输入 | 输出 | 负责人 |
|---|---|---|---|
| 确定复测范围 | 历史容量水位基线、近期变更清单 | 复测服务/模块列表 | SRE 负责人 |
| 定义水位口径 | 业务容量指标（QPS、连接数、CPU 水位） | 口径计算公式 + 阈值表 | 容量规划专家 |
| 设计压测场景 | 业务流量模型、历史峰值特征 | 场景脚本 + 流量模型文档 | 测试开发 |
| 制定回退方案 | 系统架构图、限流/降级配置 | 回退操作手册 | 运维值班长 |
| 评审与审批 | 以上所有文档 | 评审纪要 + 批准签字 | 技术经理 |
避坑指南：计划阶段最容易忽略的是“口径一致性”。如果本次复测的口径公式与上次基线使用的公式不一致（例如 CPU 水位从“1min 平均”改为“5min 平均”），则复测结果无法直接对比。必须在计划阶段明确口径的数学定义和采样窗口。
4.3 准备阶段（Prepare）
准备阶段将计划转化为可执行的资源状态。对于容量水位复测，环境基线采集和监控部署是核心。
- 环境基线采集：记录复测开始前的系统状态（CPU 空闲率、内存使用量、网络吞吐、磁盘 IOPS），用于执行后对比。
- 压测工具部署：安装并验证压测客户端（如 wrk、JMeter、Locust），确保与目标服务网络连通。
- 监控与告警配置：在 Prometheus/Grafana 中配置复测专用的水位口径面板，设置临时告警阈值（通常为阈值的 80% 预警）。
- 数据备份与快照：对关键数据库和配置中心执行快照，确保回退时能快速恢复。
- 预演（Dry Run）：执行一次低压力预演，验证工具链和监控数据采集是否正常。
4.4 执行阶段（Execute）
执行阶段是 GameDay 的“实战窗口”。容量水位口径复测的执行遵循阶梯加压策略，逐步逼近并穿越阈值。
- 基线负载确认：先以当前生产流量的 50% 压力运行 5 分钟，确认监控数据与基线一致。
- 阶梯加压：按 70% → 85% → 100% → 110% 的阶梯增加压力，每个阶梯持续 3-5 分钟，记录水位口径指标。
- 阈值触发验证：当水位口径指标达到预设阈值时，观察系统是否触发限流/降级/扩容等自动化策略。
- 极限探底：继续加压至系统出现性能拐点（如 CPU 软锁、连接池耗尽），记录该点的口径值作为“上限”。
- 快速回退：停止压测，执行回退操作，恢复系统至基线状态。
安全红线：执行阶段必须设置“熔断开关”。如果观察到任何非预期错误（如 5xx 比例超过 1%、延迟飙升 5 倍以上），立即终止压测并执行回退。容量复测的目的是测量，不是破坏。
4.5 复盘阶段（Review）
复盘阶段对执行数据进行定量分析和定性总结。容量水位口径复测的复盘重点在于口径的准确性和可复现性。
| 复盘维度 | 分析内容 | 输出物 |
|---|---|---|
| 口径准确性 | 实际触发阈值与预设阈值的偏差百分比 | 口径偏差分析报告 |
| 系统行为 | 限流/降级/扩容的触发时机与预期是否一致 | 自动化策略有效性评估 |
| 资源瓶颈 | CPU/内存/IO/网络的瓶颈点及出现顺序 | 资源瓶颈拓扑图 |
| 团队响应 | 从告警到人工介入的响应时间、决策质量 | 响应时间线 + 改进建议 |
4.6 改进阶段（Improve）
改进阶段将复盘结论转化为可落地的 Action。对于容量水位口径复测，改进项通常分为三类：
- 口径调整：如果偏差超过 10%，需要修正口径公式或阈值。例如将 CPU 水位从“系统 CPU”改为“cgroup CPU 使用率”。
- 系统优化：针对发现的资源瓶颈进行代码优化、配置调优或架构改造。
- 流程改进：优化 GameDay 流程本身，如缩短准备阶段时间、增加自动化检查点。
改进闭环示例：某次复测发现“连接数水位”在达到阈值前 30 秒就出现了连接超时。改进 Action 为：① 将连接数阈值下调 15%；② 增加连接池预创建机制；③ 在监控面板中添加“连接数增速”指标。改进后的口径在下一轮 GameDay 中验证通过。
改进阶段完成后，所有 Action 应录入容量水位基线管理系统，并触发下一轮 GameDay 的计划阶段，形成持续迭代的飞轮效应。