4. 压测沙盘设计原则：隔离性、可重复性、安全性、可观测性
多集群 etcd 压测沙盘并非简单的压测工具集合，而是一个经过严格设计的实验环境。其核心设计遵循四大原则：隔离性、可重复性、安全性与可观测性。这四项原则共同保障了压测结果的可靠性、操作过程的可控性以及集群数据的完整性。
核心观点： 四大原则缺一不可。隔离性是基础，可重复性是科学方法，安全性是底线，可观测性是决策依据。任何一项的缺失都会导致压测沙盘失去其工程价值。
4.1 四大原则定义与对比
下表从定义、关键指标、实现手段三个维度对四大原则进行横向对比，帮助团队在沙盘设计初期建立统一认知。
| 原则 | 定义 | 关键指标 | 核心实现手段 |
|---|---|---|---|
| 隔离性 | 压测负载、数据、网络与生产环境及不同压测任务之间完全隔离 | 网络隔离度、数据域隔离、资源争抢率 | 独立 VPC/命名空间、专用 etcd 实例、容器化资源限制 |
| 可重复性 | 相同输入条件下，压测结果可被精确复现 | 结果标准差、环境一致性评分 | 基础设施即代码（IaC）、版本锁定的镜像、固定种子随机数 |
| 安全性 | 压测过程不泄露凭据、不破坏数据、不产生权限逃逸 | 凭据泄露次数、数据损坏事件数 | 临时凭据、最小权限 RBAC、沙箱化执行环境 |
| 可观测性 | 压测全链路状态可监控、可追踪、可回溯 | 指标采集覆盖率、链路追踪完成率 | Prometheus + Grafana、分布式追踪、结构化日志 |
4.2 隔离性：构建压测的“无菌实验室”
隔离性是沙盘设计的首要前提。在多集群管理场景下，压测沙盘必须与生产集群、开发集群以及其它压测任务形成严格的边界。
- 网络隔离： 使用独立的 VPC 或 Kubernetes 命名空间，通过 NetworkPolicy 禁止沙盘与生产环境的跨网段通信。
- 数据隔离： 每个压测任务使用独立的 etcd 数据目录或存储卷，任务结束后自动清理。
- 资源隔离： 通过 cgroups 或 Kubernetes ResourceQuota 限制 CPU、内存、磁盘 IO，防止压测任务相互干扰。
最佳实践： 在沙盘入口处设置“隔离性检查点”，自动验证当前环境是否满足隔离条件，未通过则拒绝执行压测任务。
4.3 可重复性：让压测结果具备科学意义
可重复性是压测沙盘区别于临时脚本的核心特征。只有可重复的压测，才能用于性能回归、容量规划与变更验证。
- 环境版本锁定： etcd 版本、操作系统、内核参数、依赖库均通过 IaC 工具（如 Terraform、Ansible）进行版本锁定。
- 压测脚本标准化： 使用统一的压测框架（如 etcd 官方的 benchmark 工具），固定 key 分布、value 大小、并发模型。
- 随机数种子固定： 对于需要随机数据的场景，固定随机数种子，确保每次压测的数据分布一致。
- 基线比对机制： 每次压测前自动执行一组轻量级基线测试，验证环境状态是否与历史基线一致。
常见陷阱： 忽略 etcd 的 compaction 和 defrag 状态。不同 compaction 周期下的压测结果差异可达 30% 以上，必须在压测前统一执行 compact 和 defrag 操作。
4.4 安全性：权限矩阵复核与风险兜底
安全性原则直接对应课程标题中的“权限矩阵复核与风险控制”。压测沙盘必须内置安全机制，防止因误操作或恶意行为导致的数据泄露与集群破坏。
- 临时凭据机制： 压测任务启动时动态签发短期证书或 ，任务结束后自动吊销，避免凭据残留。
- 最小权限 RBAC： 压测客户端仅授予目标 etcd 集群的读写权限，禁止 root 权限、用户管理权限、集群管理权限。
- 操作审计： 所有压测操作均记录审计日志，包括操作人、时间、命令、返回码、耗时。
- 熔断与回滚： 当检测到 etcd 集群出现异常指标（如 follower 数下降、磁盘空间不足）时，自动熔断压测并触发回滚脚本。
权限矩阵复核要点： 在压测沙盘上线前，必须逐项核对 etcd 的 RBAC 角色绑定、TLS 证书有效期、防火墙规则、审计日志配置。建议使用自动化工具进行合规性扫描。
4.5 可观测性：让压测过程“透明化”
可观测性确保压测过程中的每一个状态变化都能被捕获、分析和回溯。没有可观测性的压测如同盲人摸象。
| 观测维度 | 关键指标 | 采集工具 |
|---|---|---|
| etcd 集群状态 | leader 变更次数、Raft 提案延迟、DB 大小、follower 落后数 | etcd metrics API + Prometheus |
| 压测客户端状态 | QPS、延迟 P99/P999、错误率、连接数 | 压测框架内置指标 + Grafana |
| 系统资源 | CPU 使用率、内存占用、磁盘 IOPS、网络带宽 | node_exporter + cAdvisor |
| 链路追踪 | 请求端到端耗时、各组件耗时分布 | OpenTelemetry + Jaeger |
4.6 四大原则协同架构
下图展示了四大原则在压测沙盘中的协同关系。隔离性提供基础环境，可重复性保证实验方法，安全性守住底线，可观测性提供决策依据，四者形成闭环。
4.7 原则落地检查清单
在沙盘设计评审阶段，建议使用以下清单逐项确认四大原则的落地情况：
- 隔离性检查：
- 沙盘是否使用独立的 etcd 集群？
- 网络策略是否禁止了跨环境访问？
- 每个压测任务是否拥有独立的数据目录？
- 可重复性检查：
- 环境配置是否通过 IaC 管理并版本控制？
- 压测脚本是否包含版本号与参数校验？
- 是否建立了基线测试与结果比对流程？
- 安全性检查：
- 压测客户端是否使用临时凭据？
- RBAC 权限是否遵循最小权限原则？
- 是否配置了熔断与自动回滚机制？
- 可观测性检查：
- etcd 集群指标是否已接入监控系统？
- 压测客户端是否暴露 QPS、延迟、错误率指标？
- 审计日志是否完整记录所有操作？
建议： 将上述检查清单集成到沙盘的 CI/CD 流水线中，每次环境部署或压测任务提交时自动执行合规性检查，确保四大原则始终得到遵守。