📚 课程目录第3章限流降级基础

3. 服务网格中的限流实现：Envoy 本地限流、全局限流与 Istio EnvoyFilter 配置

在服务网格架构中，限流是保障后端服务稳定性的第一道防线。Envoy 作为数据面代理，提供了两种核心限流模式：本地限流（Local Rate Limiting）和全局限流（Global Rate Limiting）。Istio 通过 EnvoyFilter 和 RateLimit CRD 将这两种能力抽象为声明式配置。本章深入剖析每种模式的实现原理、配置方法及对 API 延迟的潜在副作用。

3.1 限流模式对比：本地 vs 全局

维度	本地限流（Local）	全局限流（Global）
决策节点	单个 Envoy 实例内部	独立的 Rate Limit Service（RLS）
数据一致性	无状态，每个 Envoy 独立计数	强一致，依赖 Redis 等集中存储
延迟影响	纳秒级，无网络开销	毫秒级，增加 RPC 往返
适用场景	单机限流、熔断保护	集群级配额、多租户隔离
配置复杂度	低，仅需 Envoy 配置	高，需部署 RLS 并配置网络

性能权衡： 本地限流几乎不增加延迟，但无法应对流量倾斜；全局限流能精确控制全局速率，但每次请求都会引入 1-5ms 的额外延迟。在延迟敏感型服务中，应优先考虑本地限流 + 熔断的组合策略。

3.2 Envoy 本地限流实现

Envoy 的本地限流基于 Bucket 算法，在 HTTP 连接管理器（HCM）或特定路由中配置。它不依赖外部服务，所有状态保存在 Envoy 进程内存中。

3.2.1 核心配置结构

# Envoy 本地限流配置片段（通过 Istio EnvoyFilter 注入）
apiVersion: networking.istio.io/v1alpha3
kind: EnvoyFilter
metadata:
  name: local-rate-limit-filter
  namespace: istio-system
spec:
  workloadSelector:
    labels:
      app: productpage
  configPatches:
  - applyTo: HTTP_FILTER
    match:
      context: SIDECAR_INBOUND
      listener:
        filterChain:
          filter:
            name: "envoy.filters.network.http_connection_manager"
            subFilter:
              name: "envoy.filters.http.router"
    patch:
      operation: INSERT_BEFORE
      value:
        name: envoy.filters.http.local_ratelimit
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.http.local_ratelimit.v3.LocalRateLimit
          stat_prefix: http_local_rate_limiter
          _bucket:
            max_tokens: 1000
            tokens_per_fill:
              value: 100
            fill_interval: 1s
          filter_enabled:
            runtime_key: local_rate_limit_enabled
            default_value:
              numerator: 100
              denominator: HUNDRED
          filter_enforced:
            runtime_key: local_rate_limit_enforced
            default_value:
              numerator: 100
              denominator: HUNDRED
          response_headers_to_add:
            - header:
                key: "x-local-rate-limit"
                value: "true"

  关键参数说明：
  max_tokens：令牌桶容量，决定突发流量承受能力。
tokens_per_fill + fill_interval：决定稳态速率。例如 100 tokens/s。
filter_enabled / filter_enforced：支持运行时渐进式开启，避免配置错误导致全量拒绝。

3.2.2 本地限流延迟特征

本地限流对延迟的影响极小，主要来自令牌桶的原子操作和计数器更新。在压测环境下，P99 延迟增加通常小于 0.1ms。但需注意：当令牌桶耗尽时，Envoy 会立即返回 429 状态码，不会产生排队等待延迟，这对客户端重试策略是友好的。

3.3 全局限流：Rate Limit Service 架构

全局限流通过独立的 Rate Limit Service (RLS) 实现全局速率决策。Envoy 在转发请求前，通过 gRPC 调用 RLS 查询是否允许放行。RLS 通常基于 Redis 维护全局计数器。

3.3.1 部署拓扑

RLS 实例：无状态服务，可水平扩展。每个实例维护与 Redis 的连接池。
Redis 后端：存储速率计数器，支持集群模式以提升吞吐。
Envoy 配置：通过 rate_limit_service 指定 RLS 的 gRPC 端点。

3.3.2 延迟分析：全局限流的代价

全局限流引入的延迟由三部分组成：

网络往返：Envoy 到 RLS 的 gRPC 调用，通常 0.5-2ms。
Redis 操作：RLS 对 Redis 的 INCR/EXPIRE 命令，约 0.2-1ms。
序列化/反序列化：Protobuf 编解码，约 0.1-0.3ms。

在典型部署中，全局限流会增加 1-5ms 的 P99 延迟。对于要求 P99 < 10ms 的服务，这个开销不可忽视。

副作用陷阱： 当 RLS 或 Redis 出现故障时，Envoy 默认行为是 允许所有请求通过（fail-open），这可能导致限流失效。若配置为 fail-close，则所有请求都会被拒绝，造成服务完全不可用。建议结合 circuit_breakers 和 outlier_detection 保护 RLS 调用链路。

3.4 Istio EnvoyFilter 配置实战

Istio 通过 EnvoyFilter 资源将限流配置注入到 Envoy 的 HTTP 过滤器链中。以下是一个完整的全局限流配置示例。

3.4.1 配置全局限流

# 1. 部署 Rate Limit Service（略，参考官方 Helm Chart）
# 2. 创建 EnvoyFilter 注入全局限流过滤器
apiVersion: networking.istio.io/v1alpha3
kind: EnvoyFilter
metadata:
  name: global-rate-limit
  namespace: istio-system
spec:
  workloadSelector:
    labels:
      istio: ingressgateway
  configPatches:
  - applyTo: HTTP_FILTER
    match:
      context: GATEWAY
      listener:
        filterChain:
          filter:
            name: "envoy.filters.network.http_connection_manager"
            subFilter:
              name: "envoy.filters.http.router"
    patch:
      operation: INSERT_BEFORE
      value:
        name: envoy.filters.http.ratelimit
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.http.ratelimit.v3.RateLimit
          domain: productpage-ratelimit
          timeout: 0.5s
          failure_mode_deny: false
          rate_limit_service:
            grpc_service:
              envoy_grpc:
                cluster_name: rate_limit_cluster
            transport_api_version: V3
  - applyTo: CLUSTER
    match:
      context: GATEWAY
    patch:
      operation: ADD
      value:
        name: rate_limit_cluster
        type: STRICT_DNS
        connect_timeout: 1s
        lb_policy: ROUND_ROBIN
        typed_extension_protocol_options:
          envoy.extensions.upstreams.http.v3.HttpProtocolOptions:
            "@type": type.googleapis.com/envoy.extensions.upstreams.http.v3.HttpProtocolOptions
            explicit_http_config:
              http2_protocol_options: {}
        load_assignment:
          cluster_name: rate_limit_cluster
          endpoints:
          - lb_endpoints:
            - endpoint:
                address:
                  socket_address:
                    address: rate-limit-service.istio-system.svc.cluster.local
                    port_value: 8081

3.4.2 配置限流规则（通过 RateLimit CRD）

# Istio 1.9+ 支持 RateLimit CRD
apiVersion: trafficcontrol.istio.io/v1beta1
kind: RateLimit
metadata:
  name: productpage-limit
  namespace: default
spec:
  hosts: ["productpage.default.svc.cluster.local"]
  limits:
  - match:
      request:
        headers:
          x-: ".*"
    rate:
      requests_per_unit: 100
      unit: SECOND
    actions:
    - request_headers:
        header_name: x-
        descriptor_key:

  配置要点：
  failure_mode_deny：设为 false 表示 RLS 不可用时放行（fail-open），设为 true 则拒绝所有请求。
timeout：控制 gRPC 调用超时，避免 RLS 慢响应阻塞 Envoy 工作线程。
domain：用于隔离不同服务的限流配置，RLS 根据 domain 加载规则。

3.5 限流策略对延迟的副作用与优化

3.6 最佳实践与避坑指南

场景	推荐策略	延迟影响	注意事项
单服务限流	本地限流 + 令牌桶	< 0.1ms	注意突发流量与 max_tokens 的匹配
多服务共享配额	全局限流 + Redis	1-5ms	RLS 必须高可用，避免单点故障
API 网关入口	全局限流 + 本地限流双层	1-5ms	本地限流作为第一道防线，全局限流做精确控制
延迟敏感服务	仅本地限流 + 熔断	< 0.1ms	配合 HPA 自动扩缩容应对流量增长

关键避坑：

不要在同一个 Envoy 过滤器链中重复配置本地限流和全局限流，会导致双重计数和意外拒绝。
不要将全局限流的 timeout 设置过大（建议 < 500ms），否则会阻塞 Envoy 工作线程池，影响所有请求。
不要忽略 filter_enabled 的运行时配置，先以 1% 的流量验证限流效果，再逐步全量开启。