2. 容量水位概念：容量水位定义、关键指标与水位线设定方法
容量水位是混沌工程与容量保障体系中的核心抽象概念，它描述了系统在特定负载下资源使用程度与剩余裕量的量化关系。理解容量水位，是进行故障注入、容量规划与弹性评估的前提。
2.1 容量水位定义
容量水位（Capacity Water Level）借鉴了“水杯”隐喻：将系统整体容量视为一个容器，当前负载（请求量、资源消耗）视为容器内的水位。水位过高则系统濒临溢出（过载、熔断、雪崩），水位过低则资源利用率不足、成本浪费。
容量水位 = 当前资源使用量 / 系统最大可承载容量 × 100%
例如：CPU 水位 70% 表示当前 CPU 使用率占最大安全容量的 70%。
例如：CPU 水位 70% 表示当前 CPU 使用率占最大安全容量的 70%。
容量水位具有以下特征：
- 多维性：单一指标无法完整描述系统容量，需结合多个关键指标综合判断。
- 动态性：水位随流量、代码变更、基础设施状态实时波动。
- 阈值敏感性：不同水位区间对应不同的运维策略（正常、预警、危险、过载）。
- 业务相关性：容量水位必须与业务指标（如延迟、错误率、吞吐量）联动分析。
2.2 关键指标：四大核心水位线
在混沌工程实践中，我们通常关注以下四个维度的容量水位指标。每个指标都有其独特的敏感区间和瓶颈特征。
| 指标维度 | 核心指标 | 典型安全水位 | 警戒水位 | 危险水位 | 瓶颈特征 |
|---|---|---|---|---|---|
| QPS | 每秒请求数 / 每秒事务数 | < 60% 峰值 | 60% – 80% | > 80% | 延迟拐点出现，队列堆积 |
| CPU | CPU 使用率（%）、Load Average | < 50% | 50% – 75% | > 75% | 上下文切换激增，响应变慢 |
| 内存 | 内存使用率（%）、GC 频率 | < 60% | 60% – 80% | > 80% | 频繁 GC / OOM 风险 |
| 连接数 | TCP 连接数、连接池使用率 | < 50% 最大连接 | 50% – 70% | > 70% | 连接超时、拒绝新连接 |
实践要点： 不要孤立看待单一指标。例如 CPU 水位 70% 但 QPS 水位仅 30%，可能意味着代码存在计算瓶颈或死循环，而非真正的容量不足。混沌故障注入应优先验证“多指标联动异常”场景。
2.3 水位线设定方法
水位线（Watermark）是容量管理的“红黄绿灯”。设定合理的水位线需要结合压测数据、历史基线、业务容忍度和硬件裕量。以下是业界通用的四步设定法：
- 压测标定最大容量：通过阶梯式压力测试，找到系统性能拐点（如延迟突增 100% 或错误率 > 1% 时的 QPS/资源值），作为“最大安全容量”。
- 确定安全系数：根据业务重要程度设定裕量。核心交易链路通常取最大容量的 60%–70% 作为安全水位；非核心链路可放宽至 80%。
- 设定三级水位线：
- 安全水位：日常运行目标，低于此值无需干预。
- 警戒水位：触发告警，需人工或自动准备扩容。
- 危险水位：触发自动弹性伸缩或限流熔断。
- 动态校准：每次大版本发布、硬件变更或业务模型变化后，重新压测并调整水位线。
2.4 水位线设定示例（以 QPS 为例）
假设通过压测得到某服务的最大安全 QPS 为 10,000（此时延迟 < 200ms，错误率 < 0.1%）。设定水位线如下：
| 水位级别 | QPS 阈值 | 占最大容量比例 | 触发动作 |
|---|---|---|---|
| 安全水位 | < 6,000 | < 60% | 无操作，日常监控 |
| 警戒水位 | 6,000 – 8,000 | 60% – 80% | 发送告警，准备扩容预案 |
| 危险水位 | > 8,000 | > 80% | 自动弹性扩容或启动限流 |
常见误区： 将水位线设定为固定值（如 CPU 始终 80% 告警）而不考虑业务时段差异。例如促销活动期间，可临时将警戒水位上调至 85%，避免误告警。混沌工程应验证“水位线动态调整”场景下的系统行为。
2.5 容量水位在 Grafana 中的可视化思路
在 Grafana 中，容量水位通常通过以下方式呈现：
- 仪表盘（Gauge / Stat）：展示当前水位百分比，配合颜色阈值（绿/黄/红）。
- 时间序列图（Time Series）：叠加水位线（Thresholds）和实际指标曲线。
- 热力图（Heatmap）：展示水位分布密度，识别周期性高峰。
- 状态历史（State Timeline）：记录水位级别切换事件，用于事后复盘。