1. 课程导论：集群升级治理的背景与挑战
1.1 为什么集群升级不再是“一键操作”？
在云原生基础设施的日常运维中，Kubernetes 集群升级是最常见、也最具破坏性的操作之一。早期小规模集群的升级往往依赖运维人员的“手工脚本 + 人工验证”，但随着集群规模突破百节点、租户数量达到数十甚至上百，升级操作的风险被急剧放大。
以下数据来自多个大型企业的生产事故复盘：
| 风险维度 | 典型事故表现 | 影响范围 |
|---|---|---|
| 控制面版本不兼容 | API 资源弃用、CRD 版本失效 | 全集群所有租户 |
| 节点驱逐导致 Pod 中断 | 无状态服务重启、有状态服务数据丢失 | 单个租户或共享节点池 |
| CNI/CSI 插件版本滞后 | 网络不通、存储挂载失败 | 依赖特定插件的租户 |
| 监控与告警链路断裂 | 升级期间指标采集中断，无法感知异常 | 运维团队全局盲区 |
这些事故的共性根源在于：升级操作缺乏租户维度的隔离边界和可观测的灰度验证机制。传统“全量滚动升级”模式在混合负载、多租户场景下，已经无法满足 SLO 要求。
1.2 租户隔离蓝图：从“共享风险”到“独立爆炸半径”
租户隔离蓝图的核心思想是：在集群升级前，通过资源拓扑和调度策略，将不同租户的工作负载划分到独立的“升级单元”中。每个升级单元拥有独立的节点池、网络策略和资源配额，升级操作只影响该单元内的租户。
以下对比展示了隔离前后的差异：
| 维度 | 传统共享集群升级 | 租户隔离蓝图升级 |
|---|---|---|
| 爆炸半径 | 全集群所有 Pod | 单个租户单元（通常 ≤ 5 节点） |
| 回滚成本 | 需要回滚整个集群版本 | 仅回滚单个租户的节点池 |
| 验证粒度 | 依赖全局 e2e 测试 | 按租户业务场景定制验证 |
| SLO 保障 | 难以承诺单个租户的可用性 | 每个租户独立 SLO 可测量 |
关键设计原则： 租户隔离蓝图不是简单的“节点打标签”，而是包含网络隔离（NetworkPolicy）、资源配额（ResourceQuota）、Pod 安全策略（PSA）和监控面板（Dashboard）的一整套拓扑定义。
1.3 灰度批次：从“全量滚动”到“渐进式验证”
即使有了租户隔离蓝图，升级操作本身仍然需要分批次、按节奏执行。灰度批次策略将升级过程划分为多个阶段，每个阶段包含：
- 批次定义： 按租户优先级、业务重要性、风险等级划分升级顺序
- 验证门禁： 每个批次完成后，必须通过自动化指标检查才能进入下一批
- 回滚触发： 如果批次内出现 SLO 违约，自动触发回滚并暂停后续批次
一个典型的灰度批次升级流程如下：
- 金丝雀批次： 选择 1~2 个低风险租户，升级其隔离单元
- 验证窗口： 观察 30 分钟，检查 Pod 重启率、API 错误率、P99 延迟
- 扩量批次： 升级 20% 的租户单元，重复验证
- 全量批次： 剩余租户分批升级，每批不超过 30%
- 稳定期： 全量升级完成后，持续观测 24 小时
实践建议： 灰度批次的关键不在于“分几批”，而在于“每批的验证门禁是否可量化”。建议将门禁指标直接绑定到租户的 SLO 面板上，实现“升级进度 = 指标健康度”的联动。
1.4 指标面板留痕：升级过程的“黑匣子”
在租户隔离蓝图和灰度批次的基础上，第三个关键能力是指标面板留痕。升级过程中的每一个操作、每一次验证、每一次回滚，都需要在指标面板上留下可追溯的记录。这不仅是事后审计的需要，更是实时决策的依据。
指标面板留痕需要覆盖以下三个层次：
- 操作层： 记录每次升级操作的开始时间、结束时间、操作人、批次编号
- 指标层： 记录升级前后关键指标的变化曲线，包括 Pod 重启率、API 错误率、P99 延迟、节点资源水位
- 事件层： 记录升级过程中的异常事件、告警触发、回滚操作及原因
常见误区： 很多团队只关注“升级是否成功”，而忽略了“升级过程中指标如何变化”。没有留痕的升级，等于没有复盘依据。建议将指标面板留痕作为升级流程的强制门禁之一。
1.5 本课程的核心交付
通过本课程，你将掌握以下能力：
| 模块 | 核心内容 | 交付物 |
|---|---|---|
| 租户隔离蓝图设计 | 节点池划分、网络策略、资源配额、监控面板绑定 | 可复用的 Terraform/ClusterAPI 模板 |
| 灰度批次编排 | 批次定义、验证门禁、自动回滚、进度控制 | GitOps 风格的批次编排 YAML |
| 指标面板留痕 | Prometheus 指标采集、Grafana 面板设计、事件日志 | 升级专用的 Grafana Dashboard JSON |
| 全流程演练 | 从蓝图设计到灰度升级再到复盘分析 | 完整的升级治理 SOP 文档 |
接下来的章节，我们将从租户隔离蓝图的具体设计开始，逐步深入到灰度批次的编排逻辑，最后通过指标面板留痕实现升级过程的全链路可观测。