3. 故障域隔离概念：节点故障域、可用区故障域、集群故障域、多集群故障域

在《Helm应用交付故障域隔离演练容量突增时的Prom水位预测》课程中，理解故障域（Failure Domain）的层级划分是设计高可用交付策略的基础。故障域定义了系统在发生故障时受影响的范围，通过将应用实例分散到不同的故障域中，可以限制爆炸半径，确保单一故障不会导致整个服务不可用。

故障域隔离的核心思想是：共享同一故障点的资源属于同一故障域。在Kubernetes和Helm交付场景中，故障域通常分为四个层级，从底层基础设施到上层集群管理，逐层递进。

3.1 故障域层级总览

3.2 节点故障域（Node Failure Domain）

节点故障域是最基础的隔离单元，对应Kubernetes集群中的单个Worker节点。当节点发生硬件故障、操作系统崩溃或网络中断时，运行在该节点上的所有Pod都会受到影响。

• 隔离策略：通过Pod Anti-Affinity规则，确保同一应用的多个副本不调度到同一节点。
• Helm实践：在values.yaml中配置topologySpreadConstraints，实现节点级别的均匀分布。
• 故障恢复：Kubelet心跳超时后，Controller Manager自动驱逐Pod并在其他节点重建。

# Helm values.yaml 节点故障域配置示例
topologySpreadConstraints:
  - maxSkew: 1
    topologyKey: kubernetes.io/hostname
    whenUnsatisfiable: DoNotSchedule
    labelSelector:
      matchLabels:
        app: my-application

3.3 可用区故障域（Availability Zone Failure Domain）

可用区（AZ）是云提供商或自建数据中心内的独立故障域，通常包含独立的电力、网络和制冷系统。AZ故障的影响范围远大于单节点故障，可能导致整个机架甚至半个数据中心的Pod同时不可用。

• 隔离策略：跨AZ部署应用副本，利用topology.kubernetes.io/zone标签进行调度约束。
• Helm实践：在Chart模板中动态读取集群的Zone信息，生成跨AZ的Service和Pod分布。
• 网络延迟：跨AZ通信通常增加1-5ms延迟，需在Helm配置中考虑流量权重。

3.4 集群故障域（Cluster Failure Domain）

集群故障域对应整个Kubernetes集群。当集群控制面（API Server、etcd、Controller Manager）出现严重故障时，即使节点和AZ仍然健康，应用也无法被正常管理。

• 故障场景：etcd集群脑裂、API Server证书过期、控制面组件版本不兼容。
• Helm影响：Helm Release存储在集群内的Secrets中，集群故障会导致Release状态丢失，无法执行helm upgrade或helm rollback。
• 隔离策略：部署多个独立集群，通过Helm的--kube-context参数管理不同集群的Release。

# 多集群Helm操作示例
helm upgrade --install my-release ./chart \
  --kube-context cluster-a \
  --namespace production \
  --set replicaCount=3

helm upgrade --install my-release ./chart \
  --kube-context cluster-b \
  --namespace production \
  --set replicaCount=3

3.5 多集群故障域（Multi-Cluster Failure Domain）

多集群故障域是最高级别的隔离，覆盖跨地域、跨云厂商的多个Kubernetes集群。这种架构能够抵御区域性灾难，如地震、洪水或云厂商大规模故障。

• 架构模式：主备模式、双活模式、Global Load Balancer + 本地集群模式。
• Helm交付挑战：需要维护多份Helm Release状态，确保配置一致性，同时支持灰度发布和流量切换。
• 工具链：使用Argo CD、Flux CD等GitOps工具，结合Helm实现多集群的声明式交付。

3.6 故障域隔离层次结构图

下图展示了从节点到多集群的故障域隔离层次，以及各层级之间的包含关系和故障影响范围。

3.7 故障域隔离在Helm交付中的实践对比

下表总结了不同故障域层级在Helm应用交付中的配置差异和适用场景，帮助你在实际演练中选择合适的隔离策略。