2. Envoy 故障模式分类

在生产环境中，Envoy 作为数据平面的核心组件，其故障模式直接影响服务可用性。本章将 Envoy 的常见故障归纳为六大类，每类故障的触发条件、表现特征和排查路径均有显著差异。理解这些分类是构建回滚护栏和自动化故障响应策略的基础。

2.1 故障模式总览

下表列出了六大故障模式的关键属性对比，包括典型触发条件、影响范围、可观测性信号和回滚优先级。回滚优先级分为 P0（立即回滚）、P1（尽快回滚）、P2（观察后回滚）三个等级。

2.2 配置错误

配置错误是 Envoy 故障中最常见、也最容易被忽视的一类。Envoy 采用 xDS 协议动态下发配置，配置变更的复杂度远高于静态配置文件。配置错误通常分为以下子类：

• 语法错误：JSON/YAML 格式错误、字段类型不匹配、枚举值无效。Envoy 在配置加载阶段会进行严格校验，语法错误会导致 NACK（拒绝确认）。
• 逻辑冲突：路由规则重叠导致流量黑洞、权重分配总和不为 100、虚拟主机重复定义。这类错误在语法校验阶段无法发现，只有在流量经过时才会暴露。
• 字段缺失或默认值陷阱：Envoy 的某些字段有默认值，但默认值可能不符合预期。例如 idle_timeout 默认值为 0（表示无限超时），可能导致连接泄漏。
• 版本兼容性：新版本 Envoy 废弃了某些字段或改变了行为，旧配置在新版本上可能被拒绝或产生非预期行为。

# 配置错误示例：路由权重总和不为 100
routes:
  - match: { prefix: "/api/v1" }
    route: { cluster: "v1_cluster", weight: 60 }
  - match: { prefix: "/api/v1" }
    route: { cluster: "v2_cluster", weight: 30 }  # 错误：权重总和为 90，Envoy 会拒绝此配置

2.3 上游集群故障

上游集群故障是指 Envoy 后端的服务实例出现异常，导致 Envoy 无法正常转发流量。这类故障通常不是 Envoy 自身的问题，但 Envoy 的熔断、重试、健康检查机制会直接影响故障的传播范围。

• 实例宕机：后端 Pod/VM 崩溃或停止服务，Envoy 通过主动健康检查（Active Health Check）发现并标记为不健康。
• 熔断触发：当集群的错误率或延迟超过阈值时，Envoy 的熔断器会断开连接，拒绝新请求。熔断触发后，即使后端恢复，也需要等待重置时间。
• 端点发现延迟：通过 EDS（端点发现服务）获取的后端列表更新不及时，导致 Envoy 继续向已下线的实例发送流量。
• 异常端点风暴：短时间内大量端点被标记为不健康，导致集群可用容量骤降，引发级联故障。

# 熔断配置示例（Envoy 集群配置片段）
circuit_breakers:
  thresholds:
    - priority: DEFAULT
      max_connections: 1000
      max_pending_requests: 100
      max_requests: 2000
      max_retries: 10

2.4 资源耗尽

资源耗尽故障是 Envoy 节点级别的灾难性故障，通常由内存泄漏、连接泄漏或文件描述符耗尽引起。这类故障的恢复时间往往较长，且容易导致整个节点上的所有代理实例同时失效。

2.5 网络分区

网络分区故障是指 Envoy 与控制平面（xDS 服务器）或上游集群之间的网络连通性中断。这类故障在微服务架构中尤为常见，因为网络拓扑复杂、依赖链路长。

• xDS 断连：Envoy 无法从控制平面获取配置更新，导致配置冻结在最后成功接收的状态。如果断连期间需要配置变更，Envoy 将无法响应。
• 上游网络不可达：Envoy 与后端集群之间的网络链路中断，导致所有请求失败。此时即使后端实例健康，Envoy 也无法转发流量。
• DNS 解析失败：Envoy 使用 STRICT_DNS 或 LOGICAL_DNS 集群类型时，DNS 解析失败会导致端点列表为空。
• 双向 TLS 协商失败：网络可达但证书验证失败，属于网络分区的一种特殊形式。

# 网络分区时的典型日志模式
[2025-01-15 10:23:45.678][7][warning][upstream] [source/common/upstream/cluster_manager_impl.cc:123]
  "cluster 'backend-cluster' has 0 healthy endpoints out of 5 in zone 'us-east-1a'"
[2025-01-15 10:23:45.679][7][warning][config] [source/common/config/grpc_subscription_impl.cc:456]
  "gRPC config stream to xds-server:18000 disconnected: network error"

2.6 证书过期

证书过期是 TLS 通信中最常见的故障之一。Envoy 作为边缘代理或服务网格的数据平面，通常需要管理大量 TLS 证书。证书过期会导致 TLS 握手失败，客户端无法建立安全连接。

• 服务器证书过期：Envoy 作为服务端时，向客户端提供的证书已过期，客户端拒绝连接。
• 客户端证书过期：Envoy 作为客户端（向上游发起 TLS 连接）时，使用的客户端证书已过期，上游拒绝连接。
• CA 证书过期：用于验证对端证书的 CA 证书过期，导致所有证书验证失败。
• OCSP 响应失败：证书本身未过期，但在线证书状态协议（OCSP）响应失败，导致证书被吊销或无法验证。

# 证书过期时的 TLS 握手错误日志
[2025-01-15 11:00:00.123][12][error][connection] [source/extensions/transport_sockets/tls/ssl_socket.cc:234]
  "TLS error: 337047686:SSL routines:tls_process_server_certificate:certificate verify failed"

2.7 热重启失败

热重启是 Envoy 实现无中断升级的核心机制。热重启失败会导致新旧进程同时运行、流量中断或配置丢失。这类故障在版本升级和配置变更时尤为危险。

• 共享内存损坏：热重启依赖共享内存传递监听器套接字和连接状态。如果共享内存被损坏或版本不兼容，新进程无法接管旧进程的监听器。
• 旧进程未退出：热重启后，旧进程应在一段时间后自动退出。如果旧进程挂起或未收到退出信号，会导致端口冲突和资源泄漏。
• 新进程未就绪：新进程启动后，需要完成配置加载和监听器初始化。如果初始化失败，新进程无法提供服务，而旧进程已经停止。
• 版本不兼容：新旧版本的 Envoy 二进制对共享内存结构的定义不一致，导致热重启失败。

# 热重启失败日志示例
[2025-01-15 12:00:00.000][1][critical][main] [source/server/hot_restart_impl.cc:456]
  "hot restart parent process did not exit within 10 seconds, forcing shutdown"
[2025-01-15 12:00:00.001][1][critical][main] [source/server/listener_manager_impl.cc:789]
  "failed to bind to 0.0.0.0:8080: address already in use"

2.8 故障模式关系图

下图展示了六大故障模式之间的关联关系。配置错误和证书过期属于配置层面的故障，上游集群故障和网络分区属于网络层面的故障，资源耗尽和热重启失败属于进程层面的故障。不同层面的故障可能相互触发，形成级联效应。

2.9 故障模式与回滚策略映射

基于上述故障分类，下表总结了每种故障模式对应的回滚策略和关键决策点。回滚护栏需要根据故障类型选择不同的回滚手段：配置回滚、二进制回滚、流量回滚或证书回滚。