3. 故障域隔离原理

故障域隔离是保障多租户系统稳定性的核心机制。其本质是通过物理或逻辑边界将故障影响范围限制在最小单元内，防止单点故障扩散为全局性灾难。本节从故障域定义、隔离级别、故障扩散半径控制三个维度展开。

3.1 故障域定义

故障域（Failure Domain）是指一组共享单一故障点的资源集合。当该故障点失效时，集合内所有资源均受影响。常见的故障域层级包括：

3.2 隔离级别

隔离级别决定了故障域之间的资源与流量隔离程度。根据多租户场景的严苛程度，通常划分为以下四个级别：

• 物理隔离： 租户独占物理机、网络端口、存储设备。适用于金融、政务等高合规场景。成本最高，资源利用率低。
• 虚拟化隔离： 通过 Hypervisor 或容器运行时实现资源硬隔离（如 CPU Pin、内存预留）。适用于大多数企业级 SaaS 平台。
• 网络隔离： 基于 VPC、子网、安全组、网络策略实现流量隔离。适用于多租户共享基础设施但需严格网络边界的情况。
• 逻辑隔离： 通过命名空间、RBAC、资源配额实现软隔离。适用于开发测试环境或低风险租户。

3.3 故障扩散半径控制

故障扩散半径（Failure Blast Radius）是指单个故障事件所能影响的最大资源范围。控制扩散半径是多租户架构设计的核心目标之一。以下是业界常用的控制策略：

3.3.1 资源池化与分片

将资源划分为独立的小型资源池（Resource Pool），每个租户或租户组绑定到特定池。当某个池发生故障时，仅影响该池内的租户。

• 示例： 将 1000 台主机划分为 10 个资源池，每个池 100 台。单池故障影响 10% 的租户。
• Grafana 监控指标： pool_failure_impact_ratio、tenant_affected_count

3.3.2 限流与熔断

在服务入口和关键路径上设置限流器（Rate Limiter）和熔断器（Circuit Breaker），防止异常流量跨故障域传播。

• 限流： 按租户、API、IP 维度限制请求速率。
• 熔断： 当错误率达到阈值（如 50%）时，快速失败而非继续重试。

3.3.3 跨域部署与反亲和性

通过 Pod 反亲和性（Pod Anti-Affinity）和拓扑分布约束（Topology Spread Constraints），确保同一租户的多个副本分布在不同的故障域中。

3.3.4 灰度发布与金丝雀部署

变更操作（如版本升级、配置修改）先在最小故障域（如单主机）内验证，确认无异常后再逐步扩大范围。

3.4 故障域隔离的容量规划影响

故障域隔离策略直接决定了容量规划中的冗余模型和资源预留比例。以下是不同隔离级别下的容量规划参数对比：

3.5 故障域隔离的 Grafana 监控面板设计

为有效观测故障域隔离效果，建议在 Grafana 中构建以下面板：

• 故障域拓扑图： 以树形图展示 AZ → 机架 → 主机 → 容器的层级关系，并用颜色标识各节点健康状态（绿=正常，黄=告警，红=故障）。
• 故障扩散半径热力图： 横轴为时间，纵轴为故障域 ID，颜色深度表示受影响租户数量。
• 隔离违反事件列表： 记录违反反亲和性规则或跨域调度失败的 Pod 事件。

# 示例：Grafana 告警规则 - 故障域水位过高
# 规则名称：AZ 容量水位超过 85%
# PromQL 表达式：
  (
    sum by (az) (
      node_namespace_pod_container:container_cpu_usage_seconds_total:sum_rate{cluster="prod"}
    )
    /
    sum by (az) (
      kube_node_status_capacity{resource="cpu"}
    )
  ) > 0.85
# 告警级别：Warning
# 持续时间：5m
# 通知渠道：PagerDuty + Slack