1. 分布式系统故障的必然性：从单点故障到雪崩效应
在单体架构向分布式架构演进的过程中，故障不再是“如果发生”的问题，而是“何时发生”的问题。分布式系统由大量独立运行的节点、网络链路和中间件组成，任何一个环节的失效都可能引发连锁反应。理解故障的必然性，是接受并设计容错架构的前提。
1.1 故障的统计学必然性
假设一个分布式系统由 100 个节点组成，每个节点的可用性为 99.9%（即年停机约 8.76 小时）。系统整体的可用性并非 99.9%，而是所有节点可用性的乘积：
系统整体可用性 = (0.999)^100 ≈ 0.9048 → 约 90.48%
年预期停机时间 ≈ 365 × 24 × (1 - 0.9048) ≈ 834 小时 ≈ 34.7 天这意味着，即使每个节点都达到了“三个九”的高标准，百节点规模的系统每年仍可能因节点故障而停机超过一个月。节点数量越大，故障概率越趋近于 100%。
| 节点数量 | 单节点可用性 | 系统整体可用性 | 年预期停机时间 |
|---|---|---|---|
| 10 | 99.9% | 99.00% | ~87.6 小时 |
| 50 | 99.9% | 95.12% | ~427 小时 |
| 100 | 99.9% | 90.48% | ~834 小时 |
| 500 | 99.9% | 60.65% | ~3447 小时 |
核心结论： 节点数量每增加一个数量级，系统整体可用性急剧下降。分布式系统必须将“故障是常态”作为设计的第一性原理。
1.2 从单点故障到雪崩效应
单点故障（Single Point of Failure, SPOF）是指系统中某个组件失效后，导致整个系统或关键功能不可用。在分布式架构中，单点故障的后果往往被网络延迟、资源竞争和重试机制放大，最终演变为雪崩效应。
雪崩效应的典型传播路径如下：
- 局部故障： 某个服务实例因硬件故障、慢查询或内存溢出而响应变慢或不可用。
- 请求堆积： 上游服务等待下游响应，线程/连接被持续占用，请求队列迅速填满。
- 资源耗尽： 上游服务的线程池、数据库连接池、内存等资源被耗尽，自身也开始出现故障。
- 级联扩散： 故障向上游和下游同时蔓延，更多服务进入不稳定状态。
- 系统崩溃： 整个调用链路瘫痪，甚至导致集群整体不可用。
1.3 容错设计的必要性
既然故障无法避免，系统就必须具备在故障发生时仍能提供部分或全部服务的能力。容错设计（Fault Tolerance Design）的目标不是消除故障，而是将故障的影响范围控制在可接受的边界内。
容错设计的三个核心原则：
- 故障隔离： 通过资源隔离（线程池隔离、信号量隔离）、进程隔离（独立进程/容器）或物理隔离（不同机房），防止一个组件的故障扩散到其他组件。
- 优雅降级： 当依赖的服务不可用时，系统应主动放弃非核心功能，优先保障核心链路的可用性。
- 快速失败与恢复： 尽早检测到故障并快速失败，避免请求长时间挂起；同时提供自动恢复机制，在故障修复后重新接入流量。
设计启示： 容错不是事后补救，而是架构设计阶段就必须内置的防御性结构。Circuit Breaker（断路器）正是实现故障隔离与快速失败的关键模式之一。
1.4 故障类型与容错策略对照
| 故障类型 | 典型表现 | 容错策略 | 对应模式 |
|---|---|---|---|
| 瞬时故障 | 网络抖动、连接超时 | 重试 + 退避 | Retry / Exponential Backoff |
| 慢响应故障 | 响应时间持续超过阈值 | 超时控制 + 熔断 | Timeout / Circuit Breaker |
| 资源耗尽故障 | 连接池满、内存溢出 | 限流 + 隔离 | Rate Limiter / Bulkhead |
| 节点宕机故障 | 进程崩溃、机器断电 | 健康检查 + 自动摘除 | Health Check / Load Balancer |
| 数据不一致故障 | 主从同步延迟、脏数据 | 校验 + 补偿 | Saga / TCC |