1. 多集群运维与灾备工程导论
当企业的容器平台从单集群走向多集群,运维工作的性质会发生一次根本变化:过去关注的是“一个集群是否健康”,现在要回答的是“多个集群之间如何协同、故障时业务如何继续、数据如何保持一致”。OpenShift 多集群运维与灾备工程,正是围绕这些问题建立起来的一套工程方法。它不是简单地把多个集群拼在一起,而是要在集群之上建立统一的纳管、调度、流量、数据和恢复能力。
典型业务场景
多集群在真实业务中通常由几类需求驱动。第一类是地理分布与低延迟:用户分布在华东、华南、华北,业务就近接入可以显著降低访问延迟,同时满足数据驻留的合规要求。第二类是高可用与容灾:单集群即使做了多可用区,仍可能因控制面故障、版本升级失败或区域性灾难整体不可用,需要第二个集群承接流量。第三类是环境隔离:开发、测试、预生产、生产各自独立集群,避免相互影响,同时通过统一策略保证一致性。第四类是业务线隔离与多租户:不同事业部或客户使用独立集群,但共享同一套运维与安全基线。第五类是边缘与混合云:中心集群纳管大量边缘站点,或部分业务运行在自建机房、部分运行在公有云。
这些场景往往同时存在。例如一家零售企业可能用两个生产集群做同城双活,用第三个集群做异地灾备,再用若干边缘集群承载门店系统。理解场景的差异,是选择后续技术方案的前提。
多集群带来的运维挑战
集群数量增加后,挑战集中在几个方面。首先是纳管与可见性:集群分散在不同网络和云上,如何统一注册、统一查看工作负载与告警,避免“集群孤岛”。其次是配置一致性:同一个应用在多个集群部署,如果各自手工修改,很容易出现版本漂移,需要以 GitOps 等方式把期望状态集中管理。第三是网络与流量:跨集群的服务发现、入口流量调度、故障时的流量切换,都需要明确的机制。第四是数据一致性:有状态应用的存储复制、备份与恢复点目标,是灾备中最难的部分。第五是安全与合规:多集群意味着更多入口、更多凭据、更多审计面,需要统一身份与策略。第六是成本与容量:资源分散后容易出现部分集群闲置、部分集群过载,需要跨集群的容量视图。
灾备目标:RTO 与 RPO
灾备工程首先要明确两个指标。RTO(Recovery Time Objective,恢复时间目标)指业务从中断到恢复服务可接受的最长时间;RPO(Recovery Point Objective,恢复点目标)指允许丢失的数据时间窗口。例如 RTO=15 分钟、RPO=5 分钟,意味着故障后 15 分钟内必须恢复,且最多丢失最近 5 分钟的数据。
这两个指标直接决定架构选择。RPO 接近 0 通常需要同步复制或持续数据保护;RTO 很短则要求备用集群处于热备状态,能够快速接管流量。常见的灾备模式包括:
- 备份与恢复:定期备份 etcd、PV 和应用配置,故障后重建。成本低,但 RTO/RPO 较大,通常小时级。
- 冷备:备用集群已存在但未运行生产负载,故障时部署并切换。RTO 分钟到小时级。
- 温备:备用集群运行部分组件或缩容副本,数据持续复制。RTO 分钟级。
- 热备/双活:两个集群同时承载流量,数据双向或单向同步。RTO 接近 0,但复杂度和成本最高。
选择哪种模式,取决于业务对中断和丢数的容忍度,以及可投入的成本。并非所有业务都需要双活,把关键业务做到热备、一般业务做到备份恢复,往往是更现实的组合。
课程整体学习路径
本课程围绕“纳管—治理—流量—数据—恢复”这条主线展开。前期先建立多集群的基础认知与纳管能力,理解 OpenShift 多集群管理面的组成;随后进入配置与策略治理,掌握用 GitOps 和策略引擎保持多集群一致;接着深入跨集群网络与流量调度,解决服务发现和故障切换;再进入数据与存储的灾备设计,包括备份、复制与恢复演练;最后通过综合案例,把监控、告警、演练和应急预案串成完整的运维闭环。
学习过程中建议始终带着三个问题:这个能力解决什么场景?它的关键参数和判断依据是什么?故障时它如何帮助恢复?下面这张图概括了多集群运维与灾备的整体关系,可作为后续章节的导航。
从图中可以看到,业务场景是起点,它带来具体的运维挑战;挑战决定了需要建设哪些核心能力;这些能力最终服务于 RTO 与 RPO 目标,也就是业务连续性的达成。后续每一章都会落在其中某个能力块上,并不断回到“场景—挑战—能力—目标”这条主线。
一个可参考的起步判断
在真正动手前,可以先做一次简单的分级。把业务按重要程度分为三级:一级业务要求 RTO≤15 分钟、RPO≤5 分钟,通常需要热备或双活;二级业务 RTO≤2 小时、RPO≤30 分钟,可采用温备加定期备份;三级业务 RTO≤24 小时、RPO≤4 小时,备份恢复即可。分级完成后,再为每一级匹配集群数量、复制方式和演练频率。这样做的价值在于,避免所有业务都按最高标准建设,也避免关键业务被低估。
本章作为导论,目标是建立整体认知:多集群不是目的,业务连续性和统一治理才是。接下来将从多集群的纳管与架构开始,逐步展开每一项能力的实现方式与判断依据。