1. 课程导论与沙盘全景

1.1 课程定位与核心挑战

在多集群 Kubernetes 架构中，etcd 作为集群状态存储的基石，其性能直接决定了控制面的响应能力与集群的稳定性。当管理规模从单集群数十节点扩展到多集群数千节点时，etcd 的读写延迟、Raft 共识开销、存储空间膨胀以及网络分区下的行为，成为最棘手的瓶颈来源。

本课程围绕一个核心命题展开：如何在多集群环境下，通过压测沙盘系统性地暴露 etcd 与 K8s 控制面的性能瓶颈，并精准定位根因。课程将提供一套可复现的压测方法论、一套沙盘环境搭建指南，以及一系列经过验证的瓶颈定位案例。

1.2 多集群管理概述

多集群管理并非简单的集群叠加，它引入了新的管理维度与故障模式：

• 控制面分层： 全局控制面（Global Control Plane）与成员集群控制面（Member Control Plane）之间的协调与数据同步。
• etcd 拓扑多样性： 每个集群独立部署 etcd 集群，但全局控制面可能依赖跨集群的 etcd 观察或聚合查询。
• 网络与延迟差异： 集群间网络延迟、带宽限制、丢包率差异，直接影响跨集群 etcd 操作的 RTT。
• 资源竞争与隔离： 多个集群共享物理资源（如宿主机、存储、网络带宽）时，etcd 的 I/O 与网络资源可能产生非预期争抢。

1.3 etcd 压测核心概念

etcd 压测不是简单的“发请求看延迟”，它需要理解 etcd 的内部工作模型：

• Raft 共识协议： 每次写入必须经过 Leader 日志复制到多数节点（Quorum），延迟受磁盘 fsync 速度和网络 RTT 影响。
• MVCC 与历史压缩： 大量写入会产生版本堆积，未及时压缩会导致存储空间膨胀和查询性能下降。
• Watch 机制： 大量 Watch 客户端（如 kube-controller-manager、kube-scheduler）会消耗 etcd 内存与 CPU，影响读写延迟。
• 请求类型与负载特征： 读请求（Range/Get）、写请求（Put/Delete）、事务请求（Txn）对 etcd 的资源消耗模式不同。

1.4 沙盘环境全景

本课程使用的沙盘环境是一个可编程、可观测、可复现的多集群模拟系统。它由以下核心组件构成：

• 沙盘控制面： 基于 Kind（Kubernetes in Docker）或 K3s 快速创建多个成员集群。
• etcd 压测引擎： 基于 etcd 官方的 benchmark 工具与自定义 Go 压测程序，支持多维度负载生成。
• 观测层： Prometheus + Grafana 采集 etcd 指标，配合 eBPF 工具（如 bpftrace）追踪内核级 I/O 与网络延迟。
• 故障注入模块： 通过 Chaos Mesh 或 tc 命令模拟网络延迟、丢包、磁盘 I/O 节流、节点故障等场景。

1.5 K8s 瓶颈定位总体方法论

瓶颈定位不是随机猜测，而是一个假设驱动、数据验证、分层排除的系统工程。本课程遵循以下五步方法论：

1. 定义基线： 在无负载或低负载下，采集 etcd 与 kube-apiserver 的基准性能数据（延迟、吞吐、资源使用）。
2. 施加负载： 使用压测引擎逐步增加并发请求数、Key 数量、Watch 客户端数，模拟真实多集群场景。
3. 观测异常： 通过 Grafana 仪表盘与 eBPF 工具，识别延迟突增、吞吐下降、Leader 选举频繁、磁盘 I/O 饱和等异常信号。
4. 隔离变量： 通过故障注入模块逐一隔离网络、磁盘、CPU、内存等资源，确定瓶颈所在层级（应用层、系统层、硬件层）。
5. 定位根因： 结合 etcd 的 --debug 日志、Raft 状态快照、WAL 分析工具，定位到具体的代码路径或配置项。

1.6 课程内容全景图

本课程共 30 章，分为四大模块：