4. 观测面板设计原则：黄金信号、USE方法、RED方法
在构建etcd压测沙盘的观测面板时，必须遵循业界公认的三大方法论体系：黄金信号（Golden Signals）、USE方法（Utilization、Saturation、Errors）和RED方法（Rate、Errors、Duration）。这三者分别从用户体验、资源瓶颈和服务健康度三个维度，为面板设计提供了可复用的指标筛选框架。
设计原则：黄金信号回答“用户是否满意”，USE方法回答“资源是否够用”，RED方法回答“服务是否正常”。三者互补，缺一不可。
4.1 黄金信号（Golden Signals）
黄金信号源自Google SRE实践，是衡量分布式系统用户体验的四个核心指标。在etcd压测场景中，每个信号都有明确的观测对象。
| 黄金信号 | etcd观测对象 | 典型指标 | 压测关注点 |
|---|---|---|---|
| 延迟（Latency） | 请求处理耗时 | P99/P95/P50写入延迟、读取延迟 | 延迟突增是否伴随超时 |
| 流量（Traffic） | 请求吞吐量 | QPS、每秒写入/读取请求数 | 流量是否达到集群上限 |
| 错误（Errors） | 请求失败率 | gRPC错误码分布、超时比例、Leader变更次数 | 错误率是否随压力线性增长 |
| 饱和度（Saturation） | 资源使用程度 | DB总大小、WAL写入速率、Raft日志积压 | 饱和度是否触发限流或降级 |
压测沙盘应用：在面板中为每个黄金信号设置独立的可视化区域。延迟使用热力图展示P99趋势，流量使用面积图展示QPS变化，错误使用柱状图按错误码聚合，饱和度使用仪表盘展示当前水位。
4.2 USE方法：资源瓶颈定位
USE方法由Brendan Gregg提出，专注于资源维度的瓶颈分析。对于etcd集群，核心资源包括CPU、内存、磁盘I/O和网络。USE方法要求对每个资源回答三个问题：
- 利用率（Utilization）：资源被使用的平均比例。例如CPU利用率、磁盘I/O利用率。
- 饱和度（Saturation）：资源无法及时服务的程度。例如CPU运行队列长度、磁盘I/O等待队列。
- 错误（Errors）：资源层面的错误计数。例如磁盘读写错误、网络丢包。
| etcd资源 | 利用率指标 | 饱和度指标 | 错误指标 |
|---|---|---|---|
| CPU | CPU使用率（user+sys） | 运行队列长度、上下文切换 | 软/硬中断错误 |
| 内存 | 内存使用率、RSS | Swap使用量、OOM Killer计数 | 内存分配失败 |
| 磁盘I/O | 磁盘读写利用率 | I/O等待队列、I/O延迟 | 磁盘读写错误、fsync延迟 |
| 网络 | 网络带宽利用率 | TCP重传率、连接积压 | 网络丢包、RTT超时 |
压测沙盘风险控制：USE方法面板应设置多级阈值。例如磁盘I/O利用率超过70%时标记为黄色预警，超过90%时触发红色告警。饱和度指标（如I/O等待队列）应使用实时曲线图，因为饱和度往往在利用率达到100%之前就已开始恶化。
4.3 RED方法：服务健康度监控
RED方法由Tom Wilkie提出，是微服务监控的简化框架，聚焦于服务维度的三个核心指标：
- 速率（Rate）：每秒请求数，对应黄金信号的流量。
- 错误（Errors）：失败请求数或比例，对应黄金信号的错误。
- 持续时间（Duration）：请求处理耗时，对应黄金信号的延迟。
在etcd压测沙盘中，RED方法适用于每个gRPC服务端点（如KV服务、Watch服务、Lease服务）的独立监控。
4.4 三大方法在压测沙盘中的协同
在etcd压测沙盘的实际面板设计中，三种方法并非孤立使用，而是形成分层协同的观测体系：
| 观测层次 | 主导方法 | 面板位置 | 典型告警规则 |
|---|---|---|---|
| 用户体验层 | 黄金信号 | 顶部全局概览 | P99延迟 > 100ms 持续30s |
| 服务健康层 | RED方法 | 中部服务端点 | 错误率 > 5% 持续1min |
| 资源瓶颈层 | USE方法 | 底部资源面板 | 磁盘I/O利用率 > 90% |
压测沙盘复核要点：当黄金信号显示延迟升高时，应联动查看RED方法中对应端点的持续时间指标，再下钻到USE方法查看磁盘I/O饱和度。这种“自上而下”的联动分析路径，是面板设计是否合理的核心验证标准。
4.5 面板设计避坑清单
- 指标堆砌：不要在一个面板中同时展示黄金信号、USE和RED的全部指标，应分层展示。
- 阈值缺失：每个指标必须配置合理的告警阈值，避免“数据有但不知道是否异常”。
- 时间窗口不一致：联动分析时，所有面板应使用相同的时间范围和粒度（如1分钟聚合）。
- 忽略饱和度先行：饱和度指标（如Raft日志积压）往往比利用率更早暴露风险，应优先关注。
- 错误码未细分：etcd的gRPC错误码（如Unavailable、ResourceExhausted）需要单独统计，不能只聚合总错误率。