1. 课程导论：容量规划与证书轮换的关联性、etcd I/O 瓶颈的典型表现、课程目标与受众
1.1 为什么容量规划与证书轮换必须协同考虑？
在 etcd 集群运维中，容量规划与证书轮换长期被视为两个独立领域。前者关注存储、网络、I/O 资源，后者关注安全合规。然而，生产环境故障根因分析反复证明：证书轮换操作不当是触发 etcd I/O 瓶颈的常见诱因。
核心关联性体现在以下三个层面：
| 关联维度 | 容量规划视角 | 证书轮换视角 | 冲突点 |
|---|---|---|---|
| 连接风暴 | 集群需预留足够连接数 & 文件描述符 | 轮换后客户端/节点批量重建 TLS 连接 | 瞬时连接数飙升 → 写放大 → I/O 延迟抖动 |
| WAL 写入放大 | WAL 写入吞吐受磁盘 IOPS 限制 | 证书变更触发 etcd 内部状态机快照 | 快照 + 大量写请求叠加 → WAL 写入积压 |
| 租约 & watch 重置 | watch 数量影响内存 & 事件分发吞吐 | 客户端重连导致 watch 重新注册 | watch 风暴 → 事件队列堆积 → 读延迟升高 |
关键认知：证书轮换不是单纯的安全操作，它直接改变 etcd 集群的负载模型。忽略容量规划的轮换策略，等同于在未知水位下进行高危操作。
1.2 etcd I/O 瓶颈的典型表现
etcd 作为强一致的分布式键值存储，其性能瓶颈几乎总是落在 磁盘 I/O 和 网络 I/O 上。以下是生产环境中最常见的四类 I/O 瓶颈表现：
- WAL 写入延迟持续升高 —— 磁盘 fsync 耗时超过 100ms，导致 Raft 提案提交延迟，集群出现间歇性 Leader 选举。
- 后端 DB 写入积压 —— boltdb 事务提交排队，txn_write 指标显示 pending 请求堆积，客户端写入超时。
- 快照 I/O 抢占 —— 快照生成或发送期间，磁盘带宽被大量占用，正常读写请求被饿死。
- 网络连接数超限 —— 证书轮换后大量客户端同时重连，节点文件描述符耗尽，新连接被拒绝。
诊断指标速查：
•
•
•
•
•
etcd_disk_wal_fsync_duration_seconds_bucket — WAL fsync 延迟分布•
etcd_server_slow_read_indexes_total — 慢读索引计数•
etcd_network_client_connections_total — 客户端连接数•
etcd_server_snapshot_send_inflights_total — 快照发送中数量
1.3 课程目标与受众
本课程旨在建立一套 可量化、可操作、可验证 的 etcd 容量规划方法，并将其与证书轮换作业深度融合，消除因轮换操作引发的 I/O 瓶颈风险。
课程核心目标
- 诊断能力：掌握 etcd I/O 瓶颈的监控指标、日志分析和性能基准测试方法。
- 规划能力：基于业务 QPS、数据量、连接数、watch 数等参数，计算集群容量基线。
- 轮换能力：设计低影响的证书轮换策略，包括分批、限速、预热和回滚方案。
- 验证能力：通过混沌工程和压测工具，验证轮换后集群的容量裕度。
目标受众
| 角色 | 关注重点 | 前置要求 |
|---|---|---|
| SRE / 运维工程师 | 集群稳定性、故障恢复、自动化轮换 | 熟悉 etcd 基础运维命令 |
| 平台架构师 | 容量模型、架构设计、成本控制 | 了解分布式系统原理 |
| 安全工程师 | 证书生命周期、合规审计、轮换策略 | 了解 TLS/PKI 基础 |
学习建议：本课程包含大量实操案例和诊断脚本。建议在非生产环境搭建一套 3 节点 etcd 集群，配合 Prometheus + Grafana 监控栈，边学边练效果最佳。