4. 故障场景分析：主节点宕机、网络分区、脑裂、集群不可用、部分节点故障

在模板引擎缓存预加载与恢复设计中，准确识别并应对 Redis 集群的各类故障场景是保障系统高可用的前提。本章将逐一剖析五种核心故障模式，分析其对缓存系统的影响，并给出针对性的检测与应对策略。

4.1 故障场景全景概览

下表总结了五种故障场景的核心特征、影响范围及典型恢复时间，帮助架构师快速建立故障认知框架。

4.2 主节点宕机（Master Failure）

主节点宕机是 Redis 集群中最常见的故障场景。当 Master 进程崩溃、服务器断电或网络不可达时，该分片的所有读写请求将立即失败。

4.2.1 故障检测与转移流程

1. 哨兵/集群节点检测：通过 PING/PONG 心跳机制，在 down-after-milliseconds 超时后标记为主观下线（SDOWN）。
2. 客观下线确认：当多数哨兵或集群节点确认 SDOWN 后，标记为客观下线（ODOWN）。
3. Leader 选举：哨兵集群或集群节点通过 Raft 类算法选举 Leader 负责故障转移。
4. 从节点晋升：Leader 从该分片的从节点中选举一个数据最完整的 Slave 晋升为新的 Master。
5. 配置更新：集群状态更新，客户端感知到新的 Master 地址。

4.2.2 对缓存预加载的影响

• 缓存缺失：故障期间该分片的缓存数据不可访问，模板渲染请求将直接穿透到数据库。
• 数据一致性：晋升的从节点可能缺少部分最新写入数据（异步复制延迟），导致缓存数据短暂落后。
• 预加载中断：正在进行的缓存预加载任务可能因连接中断而失败，需要重试机制。

4.3 网络分区（Network Partition）

网络分区是指集群节点之间因网络设备故障、链路中断或防火墙策略导致通信隔离，但节点自身仍在运行。这是分布式系统中最棘手的故障之一。

4.3.1 分区场景分类

4.3.2 对缓存预加载的影响

• 数据分裂：分区两侧可能同时写入缓存，导致同一 Key 在不同分区存在不同值。
• 预加载写入孤立分区：预加载任务可能连接到 Minority 分区，写入的数据在网络恢复后可能被丢弃。
• 缓存穿透风险：Majority 分区无法访问 Minority 分区的缓存，导致部分模板的缓存命中率骤降。

4.4 脑裂（Split-Brain）

脑裂是网络分区的一种极端表现，指同一分片出现两个或多个 Master 节点同时对外提供服务。这通常发生在哨兵或集群的故障转移过程中，原 Master 并未真正下线，而是与集群隔离。

4.4.1 脑裂产生条件

• 原 Master 与哨兵/集群节点网络中断，但客户端仍可访问。
• 哨兵/集群在超时后触发故障转移，从节点晋升为新 Master。
• 网络恢复后，原 Master 重新加入集群，但已存在新 Master。

4.4.2 脑裂的危害

4.4.3 脑裂防御策略

• 配置 min-slaves-to-write：Master 在写入前检查连接的 Slave 数量，低于阈值则拒绝写入。
• 启用哨兵仲裁：设置 sentinel monitor 的 quorum 值大于节点数的一半。
• 缓存版本号机制：在缓存值中嵌入全局递增版本号，脑裂恢复后以高版本为准。

4.5 集群不可用（Cluster Unavailable）

当集群中超过半数 Master 节点同时故障，或网络完全中断导致无法形成多数派时，集群将进入不可用状态。这是最严重的故障场景。

4.5.1 不可用判定条件

• Redis Cluster：当 cluster-require-full-coverage 为 yes 时，任何分片不可用都会导致集群拒绝服务。
• 哨兵模式：当所有哨兵节点都无法联系到 Master，且无法完成故障转移时，服务不可用。
• 网络完全中断：所有节点之间无法通信，集群分裂为多个孤立节点。

4.5.2 降级策略

4.6 部分节点故障（Partial Node Failure）

部分节点故障指集群中少数非关键节点（如 Slave、Sentinel）失效，不影响集群整体服务能力，但可能降低系统的容错冗余。

4.6.1 常见场景

• Slave 节点宕机：该分片失去读副本，Master 的读压力增大。
• Sentinel 节点宕机：哨兵集群的仲裁能力下降，故障转移可靠性降低。
• Proxy 节点故障：如果使用代理层（如 Twemproxy、Codis），部分代理失效会导致客户端连接失败。

4.6.2 对缓存预加载的影响

4.7 故障场景综合对比图

下图从故障检测时间、数据一致性影响和恢复复杂度三个维度，对五种故障场景进行综合对比。

4.8 故障场景与缓存预加载的映射关系

为帮助架构师快速定位不同故障场景下的缓存预加载策略，下表提供了故障类型与预加载模块的映射关系。

4.9 故障检测与恢复的代码示例

以下代码展示了在缓存预加载模块中如何检测集群状态并选择正确的恢复策略。

// 故障场景检测与恢复策略选择
public class ClusterFailureDetector {
    
    private final RedisClusterClient clusterClient;
    private final CachePreloader preloader;
    
    public FailureScenario detectFailureScenario() {
        ClusterInfo clusterInfo = clusterClient.getClusterInfo();
        
        // 1. 检查集群是否完全不可用
        if (clusterInfo.getAvailableMasters() == 0) {
            return FailureScenario.CLUSTER_UNAVAILABLE;
        }
        
        // 2. 检查是否存在脑裂（同一分片多个 Master）
        if (hasSplitBrain(clusterInfo)) {
            return FailureScenario.SPLIT_BRAIN;
        }
        
        // 3. 检查是否存在网络分区（节点数不完整）
        if (isNetworkPartitioned(clusterInfo)) {
            return FailureScenario.NETWORK_PARTITION;
        }
        
        // 4. 检查是否存在主节点宕机
        if (hasMasterFailure(clusterInfo)) {
            return FailureScenario.MASTER_FAILURE;
        }
        
        // 5. 检查部分节点故障
        if (hasPartialFailure(clusterInfo)) {
            return FailureScenario.PARTIAL_NODE_FAILURE;
        }
        
        return FailureScenario.NORMAL;
    }
    
    public void executeRecovery(FailureScenario scenario) {
        switch (scenario) {
            case MASTER_FAILURE:
                // 等待故障转移完成，然后预加载到新 Master
                waitForFailover();
                preloader.preloadToMaster(getNewMaster());
                break;
                
            case NETWORK_PARTITION:
                // 等待分区恢复，不主动写入
                waitForPartitionRecovery();
                // 恢复后执行版本校验
                preloader.validateAndRepair();
                break;
                
            case SPLIT_BRAIN:
                // 执行版本号仲裁
                String correctVersion = arbitrateVersion();
                preloader.preloadWithVersion(correctVersion);
                break;
                
            case CLUSTER_UNAVAILABLE:
                // 启用本地缓存降级
                preloader.enableLocalCacheFallback();
                // 定期探测集群恢复
                scheduleClusterProbe();
                break;
                
            case PARTIAL_NODE_FAILURE:
                // 快速重试，切换到备用节点
                preloader.retryWithBackupNode();
                break;
                
            default:
                // 正常状态，执行常规预加载
                preloader.standardPreload();
        }
    }
}