1. 课程导论：etcd多集群压测的背景与目标、压测复盘的重要性、课程整体大纲与学习路径
1.1 为什么需要多集群压测？—— 背景与挑战
在云原生架构中，etcd 作为 Kubernetes 的控制面存储，其稳定性直接决定集群的可用性。随着业务规模扩张，单集群架构逐渐暴露出以下瓶颈：
- 性能隔离失效： 一个异常租户的频繁写入可能拖垮整个 etcd 集群，影响所有控制面组件。
- 故障爆炸半径过大： 单集群故障会导致成千上万个节点同时失联，恢复时间难以控制。
- 资源争抢严重： 大规模集群的 watch 连接数、请求 QPS 和存储空间相互挤占，难以独立扩缩容。
因此，生产环境普遍采用 etcd 多集群架构，将不同业务、不同敏感度的数据分散到独立的 etcd 集群中。但多集群引入的新问题在于：如何验证每个集群在真实负载下的极限能力？如何保证跨集群的流量调度策略不会引发级联故障？ 这正是本课程要解决的核心问题。
核心认知： 多集群压测不是单集群压测的简单叠加，而是需要同时考虑集群间资源隔离、网络拓扑、客户端连接池复用以及全局故障注入的复杂系统工程。
1.2 压测复盘的价值 —— 从“测过”到“测透”
很多团队做完压测后只留下一份“最大 QPS”报告，却忽略了更重要的复盘环节。压测复盘的价值体现在三个层面：
| 复盘维度 | 常见问题 | 复盘后收益 |
|---|---|---|
| 性能瓶颈定位 | 只知道集群“扛不住”，不知道是磁盘 IO、网络带宽还是 Raft 日志同步卡住 | 精准识别瓶颈层，制定针对性优化方案 |
| 故障模式归纳 | 压测中偶发超时或 leader 切换，未记录上下文 | 建立故障模式库，提前配置告警与自愈策略 |
| 容量规划校准 | 压测数据与生产表现偏差大，扩缩容决策缺乏依据 | 形成可复用的容量模型，降低资源浪费与过载风险 |
实战建议： 每次压测后，强制团队完成一份“复盘检查清单”，包含：压测场景描述、关键指标基线、异常事件时间线、根因分析、改进措施。本课程将提供完整的复盘模板。
1.3 课程整体大纲与学习路径
本课程共 30 章，按“基础 → 实战 → 进阶 → 复盘”四阶段递进设计。以下为完整大纲与推荐学习路径：
| 阶段 | 章节范围 | 核心内容 | 学习目标 |
|---|---|---|---|
| 基础篇 | 第 1-6 章 | 多集群架构原理、压测工具选型（benchmark/ghz）、关键指标解读 | 掌握 etcd 多集群压测的理论基础与工具链 |
| 实战篇 | 第 7-16 章 | 单集群压测脚本编写、多集群并发压测、网络延迟/丢包注入、磁盘 IO 限速 | 独立完成多集群压测方案设计与执行 |
| 进阶篇 | 第 17-24 章 | Raft 日志同步压测、watch 风暴模拟、跨集群流量调度压测、故障恢复时间测量 | 深入 etcd 内部机制，压测覆盖极端场景 |
| 复盘篇 | 第 25-30 章 | 压测数据可视化、瓶颈根因分析、容量模型构建、复盘报告自动化生成 | 将压测结果转化为可落地的运维决策 |
推荐学习路径：
- 入门学员： 按顺序学习基础篇 → 实战篇，完成至少 3 次完整的单集群压测实验。
- 进阶学员： 跳过基础篇，直接从实战篇第 7 章开始，重点攻克进阶篇的故障注入与 Raft 压测。
- SRE 专家： 重点关注复盘篇，结合自身生产环境数据，建立容量模型与自动化复盘流水线。
1.4 多集群压测全景架构图
下图展示了本课程所涉及的多集群压测整体架构，包含压测控制面、目标集群、监控采集与复盘分析四个核心模块：
1.5 压测复盘的核心流程
一次完整的压测复盘应遵循以下 6 个步骤，本课程将围绕此流程展开：
- 数据采集与清洗： 从 Prometheus、etcd 自身 metrics 接口、压测工具日志中提取原始指标，剔除异常采样点。
- 关键指标基线化： 计算压测期间的平均/峰值/P99 延迟、QPS、磁盘 IOPS、网络吞吐量，建立性能基线。
- 异常事件标注： 标记压测过程中出现的 leader 切换、请求超时、慢日志、OOM 等事件，记录时间戳与上下文。
- 瓶颈根因分析： 通过火焰图、延迟分布直方图、Raft 日志同步耗时等工具，定位性能瓶颈的具体模块。
- 容量模型校准： 将压测数据与生产负载特征对比，更新集群容量规划模型。
- 改进措施跟踪： 输出可执行的优化项清单，并关联到后续压测验证计划。
常见误区： 复盘时只关注“最大 QPS”而忽略“故障恢复时间”和“资源利用率拐点”。本课程强调：压测的终点不是找到极限值，而是找到安全边界。
1.6 学习本课程的前置要求
| 领域 | 具体要求 |
|---|---|
| etcd 基础 | 了解 Raft 共识算法基本概念，熟悉 etcd 常用 API（put/get/watch/lease） |
| Linux 运维 | 能使用 systemd、journalctl、perf、iostat、iftop 等工具进行系统排查 |
| 压测工具 | 至少使用过一种压测工具（如 hey、wrk、ghz），理解 QPS、延迟、并发数等基本指标 |
| 编程能力 | 能阅读和修改 Go 或 Python 脚本，用于定制压测场景 |
如果你对上述前置知识尚不熟悉，建议先学习 etcd 官方文档的“Quickstart”章节，并完成一次简单的单节点压测实验，再进入本课程的学习。