3. 容量水位基础概念
容量水位是衡量系统当前负载与最大承载能力之间相对位置的量化标尺。在混沌工程与质量门禁的协同校验中，容量水位提供了“系统是否健康”的客观判据。本节将系统阐述容量水位的定义、关键指标以及水位线分类体系。
3.1 容量水位的定义
容量水位（Capacity Water Level）借鉴了水利工程中“水位”的概念，用于描述信息系统在特定时间窗口内，其资源消耗与负载压力相对于预设阈值的饱和程度。它不是一个单一数值，而是一个由多维指标构成的综合状态向量。
核心公式： 容量水位 = 当前资源使用量 / 安全容量上限 × 100%
当水位超过 100% 时，系统进入过载状态，服务质量（SLA）将面临降级风险。容量水位管理的目标，就是将系统运行水位始终控制在安全区间内，同时避免资源过度闲置。
3.2 关键指标（QPS、RT、CPU、内存、连接数）
容量水位的计算依赖于一组可观测、可量化的关键性能指标（KPI）。这些指标从不同维度反映了系统的负载状态与健康程度。
| 指标名称 | 英文缩写 | 定义与说明 | 典型单位 |
|---|---|---|---|
| 每秒查询数 | QPS | 系统每秒处理的请求数量，直接反映业务流量压力。 | req/s |
| 响应时间 | RT | 从请求发出到收到完整响应所经过的时间，通常关注 P99/P95 分位值。 | ms |
| 中央处理器使用率 | CPU | CPU 处于非空闲状态的时间百分比，反映计算资源饱和程度。 | % |
| 内存使用率 | Memory | 已用物理内存占总物理内存的百分比，影响 GC 频率与 OOM 风险。 | % |
| 连接数 | Connections | 数据库、缓存或服务端口的当前活跃连接数，耗尽时导致拒绝服务。 | 个 |
实践要点： 在混沌工程实验中，QPS 和 RT 通常作为“业务级水位”指标，CPU 和内存作为“资源级水位”指标，连接数则作为“中间件级水位”指标。三者需联动分析，不可孤立看待。
3.3 水位线分类（安全水位、警戒水位、危险水位）
为了将连续的容量水位数值转化为可操作的决策依据，业界通常将水位划分为三个等级：安全水位、警戒水位和危险水位。每个等级对应不同的运维策略与混沌实验触发条件。
- 安全水位（Green Zone）： 系统负载远低于容量上限，各项指标运行在最佳效率区间。此时可进行常规混沌实验，验证系统在低负载下的韧性。
- 警戒水位（Yellow Zone）： 系统负载接近容量上限的 70%~80%，部分指标出现波动。此时应停止破坏性混沌实验，启动容量评估与限流预案。
- 危险水位（Red Zone）： 系统负载超过容量上限的 90%，服务质量出现明显降级。此时必须立即触发熔断或弹性扩容，混沌实验转为故障恢复验证。
3.4 水位线阈值设定原则
水位线的阈值并非固定不变，而是需要根据业务场景、硬件规格和混沌实验反馈进行动态调整。以下是通用的阈值设定参考表：
| 指标 | 安全水位阈值 | 警戒水位阈值 | 危险水位阈值 |
|---|---|---|---|
| CPU 使用率 | < 60% | 60% ~ 85% | > 85% |
| 内存使用率 | < 70% | 70% ~ 90% | > 90% |
| QPS 水位 | < 60% 峰值 | 60% ~ 80% 峰值 | > 80% 峰值 |
| RT (P99) | < 基线 × 1.5 | 基线 × 1.5 ~ 3.0 | > 基线 × 3.0 |
| 连接数 | < 60% 最大连接 | 60% ~ 85% 最大连接 | > 85% 最大连接 |
重要提醒： 上述阈值为通用参考值。在生产环境中，必须通过容量压测与混沌工程实验，结合业务容忍度（如允许的降级时长）来校准专属水位线。危险水位不应等于最大容量，而应预留 10%~15% 的缓冲区间，防止突发流量导致系统雪崩。
3.5 容量水位在质量门禁中的角色
在质量门禁架构中，容量水位扮演着“准入/准出”校验的关键角色。每一次混沌实验的执行与结束，都必须经过容量水位的校验：
- 实验准入校验： 系统当前水位必须处于安全水位或警戒水位以下，否则拒绝执行新的破坏性实验。
- 实验过程监控： 实验期间持续监控水位变化，若水位从安全跃升至危险，则自动终止实验并触发回滚。
- 实验准出校验： 实验结束后，系统水位必须回落至安全水位区间，且所有指标稳定超过 30 秒，方可判定实验通过。
最佳实践： 建议将容量水位校验逻辑封装为独立的“门禁检查点”，嵌入 CI/CD 流水线与混沌实验编排引擎之间。每次实验前、中、后自动调用，形成不可绕过的质量卡口。