1. 课程导论：多集群etcd压测沙盘背景、PVC一致性复核的重要性、课程目标与受众
1.1 多集群etcd压测沙盘背景
在云原生基础设施中，etcd 作为 Kubernetes 控制面的状态存储核心，其稳定性直接决定集群的可用性。随着企业规模扩张，单集群架构逐渐演变为多集群管理模式，etcd 的运维复杂度呈指数级上升。
本课程所涉及的“多集群etcd压测沙盘”，是一个模拟真实生产环境的实验平台，具备以下特征：
- 多集群拓扑：同时管理 3 个以上 Kubernetes 集群，每个集群独立部署 etcd 集群（3 节点或 5 节点）。
- 资源变更模拟：通过自动化工具持续创建、更新、删除 PVC（PersistentVolumeClaim）、Pod、ConfigMap 等资源，模拟业务负载波动。
- 压测注入：对 etcd 施加读写压力（QPS 从 1000 到 10000+），观察集群在极限状态下的行为。
- 故障演练：定期注入网络分区、节点宕机、磁盘 I/O 延迟等故障，验证 etcd 的容错与恢复能力。
关键数据：在压测沙盘中，单集群 etcd 的 key 数量可达 50 万+，watch 连接数超过 2000，数据变更速率峰值达到 5000 ops/s。
1.2 PVC一致性复核的重要性
PVC（PersistentVolumeClaim）是 Kubernetes 中存储资源的核心抽象。在多集群环境下，PVC 的一致性问题直接关联到数据安全与业务连续性。PVC 一致性复核的核心关注点包括：
| 维度 | 问题描述 | 风险等级 |
|---|---|---|
| 状态一致性 | etcd 中 PVC 状态与 PV 实际绑定状态不匹配 | 高 |
| 标签/注解一致性 | 跨集群 PVC 的元数据（标签、注解）出现差异 | 中 |
| 容量一致性 | PVC 声明的存储容量与底层 PV 实际容量不符 | 高 |
| 访问模式一致性 | PVC 的 accessModes 与 PV 支持的访问模式冲突 | 高 |
| 存储类一致性 | PVC 引用的 StorageClass 在目标集群中不存在或参数不同 | 中 |
在压测沙盘中，资源变更频繁，etcd 在高负载下可能出现数据不一致的隐蔽问题。例如：
- etcd 写入延迟导致 PVC 状态更新丢失。
- watch 事件乱序导致控制器做出错误决策。
- 集群间数据同步延迟引发 PVC 元数据漂移。
⚠️ 生产教训：某金融企业在跨集群迁移存储时，因未做 PVC 一致性复核，导致 200+ 个 PVC 状态不一致，最终引发数据丢失事故，恢复耗时 72 小时。
1.3 课程目标与受众
课程目标
完成本课程后，学员将能够：
- 理解多集群 etcd 压测沙盘的架构设计与部署方法。
- 掌握 PVC 一致性复核的完整流程，包括数据采集、比对、修复。
- 熟练使用 自动化工具（如 etcdctl、kubectl、自定义脚本）进行一致性校验。
- 具备 在压测场景下快速定位并修复 PVC 不一致问题的能力。
- 能够 将一致性复核流程集成到 CI/CD 或运维巡检体系中。
目标受众
| 角色 | 前置知识要求 | 课程收益 |
|---|---|---|
| Kubernetes 运维工程师 | 熟悉 K8s 核心资源、etcd 基本操作 | 掌握多集群存储一致性保障方法 |
| etcd 运维专家 | 精通 etcd 架构、数据模型、调优 | 深入理解 etcd 数据一致性的边界场景 |
| SRE 可靠性工程师 | 具备故障演练、压测经验 | 获得可落地的压测沙盘与复核方案 |
| 平台架构师 | 了解多集群管理、存储方案 | 设计更健壮的跨集群存储架构 |
1.4 课程知识体系总览
下图展示了本课程的核心知识模块及其关联关系：
💡 学习建议：建议学员按照模块顺序学习，每个模块结束后完成配套实验。模块3（一致性复核）是课程核心，建议投入最多时间。