4. 指标面板设计原则：SLO/SLI/SLA 定义、RED 方法、USE 方法
在云原生安全运行基线核验与多团队协作中，指标面板是沟通的“共同语言”。设计不当的面板会导致误判、告警风暴和协作摩擦。本章围绕三大核心体系展开：SLO/SLI/SLA 定义、RED 方法（Rate/Errors/Duration）和 USE 方法（Utilization/Saturation/Errors），并给出可直接落地的面板设计原则。
4.1 SLO/SLI/SLA 定义与面板映射
在指标面板中，必须清晰区分三个层次：
| 术语 | 全称 | 定义 | 面板角色 |
|---|---|---|---|
| SLI | Service Level Indicator | 服务等级指标，可量化的原始测量值 | 面板中的原始数据源（如请求延迟 P99） |
| SLO | Service Level Objective | 服务等级目标，SLI 的目标阈值 | 面板中的基准线/红线（如 P99 ≤ 200ms） |
| SLA | Service Level Agreement | 服务等级协议，对外承诺的契约 | 面板中的合规告警边界（如 99.9% 可用性） |
实战建议：面板中应同时展示 SLI 实时值、SLO 目标线以及 SLA 违约风险指示器。避免只放原始指标而不标注阈值，否则团队无法快速判断是否处于安全运行基线内。
4.2 RED 方法：面向服务的黄金三角
RED 方法由 Tom Wilkie 提出，适用于微服务和 API 粒度的监控。三个核心维度：
- Rate（速率）：每秒请求数（RPS），反映流量负载。
- Errors（错误）：请求失败率（如 HTTP 5xx 占比），反映服务质量。
- Duration（持续时间）：请求延迟分布（如 P50/P95/P99），反映响应性能。
在安全基线核验场景中，RED 方法可扩展为：
| RED 维度 | 安全基线示例 | 面板展示方式 |
|---|---|---|
| Rate | 认证请求速率（AuthN RPS） | 时间序列折线图 + 历史基线对比 |
| Errors | 认证失败率、RBAC 拒绝率 | 堆叠柱状图 + 错误码分类 |
| Duration | 签发延迟、策略评估延迟 | 热力图或分位线（P50/P95/P99） |
关键原则：每个服务至少一个 RED 面板。如果服务是安全组件（如 OPA、Cert-Manager、Auth Service），必须将 Errors 维度拆解为“安全策略拒绝”和“系统内部错误”两类，避免误将安全阻断当作故障。
4.3 USE 方法：面向资源的饱和度评估
USE 方法由 Brendan Gregg 提出，适用于基础设施资源（CPU、内存、网络、磁盘）的瓶颈分析。三个维度：
- Utilization（利用率）：资源被占用的平均比例。
- Saturation（饱和度）：资源排队或过载的程度。
- Errors（错误）：资源层面的错误计数。
在云原生安全运行基线中，USE 方法特别适用于以下资源：
| 资源 | Utilization 指标 | Saturation 指标 | Errors 指标 |
|---|---|---|---|
| CPU | CPU 使用率（%） | CPU 运行队列长度 | CPU 故障/节流事件 |
| 内存 | 内存使用率（%） | OOM Killer 触发次数 | 内存分配失败计数 |
| 网络 | 带宽利用率（%） | 网络丢包率、重传率 | 网络接口错误计数 |
| 磁盘 I/O | 磁盘 I/O 利用率（%） | I/O 等待队列深度 | 磁盘读写错误计数 |
避坑提示：USE 方法中的 Errors 与 RED 方法中的 Errors 含义不同。USE Errors 是资源层面的硬件/驱动错误，RED Errors 是应用层面的业务错误。面板设计时务必分开展示，不要混入同一图表。
4.4 RED 与 USE 的联合面板架构
在云原生安全基线核验面板中，推荐采用“双层架构”：上层 RED 面板展示服务健康度，下层 USE 面板展示资源健康度。两者通过 服务→Pod→节点 的标签关联实现下钻。
4.5 面板设计检查清单
在交付指标面板给多团队协作时，请逐项核验以下原则：
- SLO 可见性：每个 SLI 图表必须叠加 SLO 目标线（虚线或色带）。
- RED 全覆盖：每个微服务至少包含 Rate、Errors、Duration 三个独立面板。
- USE 资源关联：每个节点/命名空间提供 CPU、内存、网络、磁盘的 USE 三要素。
- 错误分类：安全策略拒绝（403/401）与系统错误（500）必须分开展示。
- 下钻能力：从 RED 面板可点击跳转到对应 Pod 的 USE 面板。
- 时间范围同步：所有面板使用统一的时间选择器，避免时间轴错位。
- 告警阈值标注：在面板上标注 Warning 和 Critical 阈值线，并关联 SLO 燃烧速率。
交付标准：指标面板不是数据堆砌，而是决策工具。每个面板必须回答一个问题：“当前服务是否在安全运行基线内？” 如果无法回答，说明面板设计需要重构。
4.6 多团队协作中的面板交接规范
当面板从 SRE 团队交接给安全团队或业务团队时，必须附带以下元数据：
| 元数据字段 | 说明 | 示例 |
|---|---|---|
| 指标来源 | Prometheus / Thanos / VictoriaMetrics 等 | Prometheus (cluster-a) |
| 采集间隔 | 指标抓取频率 | 30s |
| 聚合窗口 | 面板默认时间范围 | 1h / 6h / 24h |
| SLO 定义 | 每个 SLI 对应的 SLO 阈值及燃烧速率 | P99 ≤ 200ms, 99.9% |
| 标签规范 | 用于筛选的标签键值对 | namespace=security, service=opa |
| 告警路由 | 面板关联的告警接收方 | #security-alerts (Slack) |
交接最佳实践：在面板右上角添加“面板说明”按钮，内嵌上述元数据表格。新团队接手后无需猜测指标含义，直接进入核验流程。