3. 容量水位概念：定义、水位线与度量单位

容量水位是混沌工程与 SRE 容量规划中最核心的抽象概念之一。它借鉴了水利工程中“水位”的隐喻，将系统承载压力的程度量化为可观测、可比较的数值区间。理解容量水位，是进行故障注入、容量评估与限流降级的前提。

3.1 容量水位定义

容量水位（Capacity Water Level）是指系统在某一时刻，对关键资源或请求的处理压力相对于其最大可承受能力的比值。它不是一个值，而是一个相对比例，通常用百分比或归一化数值表示。

例如：一个 API 网关集群最大安全 QPS 为 100,000，当前实际 QPS 为 70,000，则其容量水位为 70%。

3.2 水位线：安全、警戒与危险

为了将连续的容量水位数值转化为可操作的运维决策依据，业界通常定义三条关键水位线。这三条线将容量空间划分为四个区域，每个区域对应不同的运维动作。

下图展示了三条水位线如何将容量空间划分为四个区域，以及每个区域对应的系统状态与运维策略。

3.3 水位口径的度量单位

容量水位不能仅用一个指标衡量。不同系统组件、不同故障场景下，需要选择不同的“度量单位”来定义水位。以下是混沌工程与 SRE 实践中四种最常用的水位口径。

3.3.1 QPS / TPS（吞吐量口径）

适用于网关、API 服务、数据库主从、消息队列等无状态或有状态的前端接入层。QPS（每秒查询数）或 TPS（每秒事务数）直接反映业务请求压力。

• 优点：直观反映业务流量，与用户体验强相关。
• 缺点：无法反映请求复杂度差异（如简单查询 vs. 复杂聚合）。
• 混沌实验场景：突增 QPS 至危险水位，验证限流组件是否准确触发。

3.3.2 CPU 使用率（计算口径）

适用于计算密集型服务、数据处理管道、容器节点。CPU 使用率是衡量计算资源饱和度的经典指标。

• 优点：通用性强，几乎所有系统都能采集。
• 缺点：I/O 密集型或网络等待型服务中，CPU 水位可能偏低，无法反映真实瓶颈。
• 混沌实验场景：注入 CPU 压力至 90%，观察服务线程池是否耗尽、GC 是否恶化。

3.3.3 内存使用率（存储口径）

适用于缓存服务（Redis / Memcached）、Java 堆内存、大数据计算节点。内存水位过高会导致 OOM、频繁 GC 或缓存淘汰。

• 优点：直接关联稳定性风险（OOM 是致命故障）。
• 缺点：内存泄漏通常缓慢累积，水位上升具有滞后性。
• 混沌实验场景：模拟内存泄漏或大对象分配，验证内存告警与自动扩容策略。

3.3.4 连接数 / 文件描述符（并发口径）

适用于数据库连接池、Tomcat / Netty 线程池、Nginx 最大连接数。连接数耗尽会导致新请求被直接拒绝。

• 优点：精确反映并发瓶颈，是服务雪崩的常见诱因。
• 缺点：不同服务的连接复用策略差异大，阈值需要单独标定。
• 混沌实验场景：耗尽数据库连接池，验证连接池熔断与快速失败机制。

下表总结了四种度量单位的适用场景与典型阈值参考。

下图展示了四种度量单位如何从不同维度描述同一个系统的容量水位，以及它们之间的典型关联关系。

3.4 水位口径选择原则

在实际的混沌工程容量实验中，选择哪种口径作为主要水位依据，需要遵循以下三条原则：

1. 瓶颈对齐原则：选择最接近系统已知瓶颈的度量单位。例如，数据库瓶颈通常看连接数或 QPS，而非 CPU。
2. 实验目标原则：如果实验目标是验证限流组件，优先使用 QPS 口径；如果目标是验证 OOM 保护，优先使用内存口径。
3. 可观测性原则：确保所选口径在实验期间能够被实时、准确地采集，且延迟在秒级以内。