3. 本地限流参数详解：tokens_per_fill、fill_rate、max_tokens、_bucket 策略的数学原理

Envoy 的本地限流（Local Rate Limiting）基于经典的 令牌桶（ Bucket） 算法。理解其核心参数——tokens_per_fill、fill_rate、max_tokens——是掌握冷启动削峰调优的基础。本节将从数学原理出发，解析这些参数如何协同工作，并揭示其在突发流量场景下的行为特征。

3.1 令牌桶算法的数学模型

令牌桶算法可抽象为一个容量为 max_tokens 的桶，系统以恒定速率 fill_rate 向桶中添加令牌，每次添加的数量为 tokens_per_fill。每个请求到达时，必须从桶中消耗一个（或多个）令牌才能被放行。若桶中令牌不足，请求被拒绝或排队。

其核心微分方程描述如下：

令 B(t) 为 t 时刻桶中的令牌数，C 为 max_tokens，r 为 fill_rate（令牌/秒）。
桶的填充过程：
  dB/dt = r,  当 B(t) < C
  B(t) = C,   当 B(t) ≥ C

请求消耗过程：
  每个请求消耗 1 个令牌（假设每个请求权重为 1）。
  若 B(t) ≥ 1，请求通过，B(t) = B(t) - 1。
  若 B(t) < 1，请求被限流。

在 Envoy 的实现中，fill_rate 定义了令牌补充的长期平均速率，而 tokens_per_fill 和 max_tokens 共同决定了桶的容量和突发能力。

3.2 核心参数详解

3.3 冷启动场景下的令牌积累行为

在服务冷启动阶段，桶初始为空（B(0)=0）。令牌的积累过程遵循线性增长，直到达到 max_tokens。这一过程直接决定了服务从启动到具备完全突发处理能力所需的时间。

令牌积累的数学表达式：

设桶初始为空，填充间隔 T = tokens_per_fill / fill_rate。
在时间 t 时刻，填充次数 n = floor(t / T)。
桶中令牌数 B(t) = min(n * tokens_per_fill, max_tokens)。

达到 max_tokens 所需时间：
  t_warmup = (max_tokens / tokens_per_fill) * T
           = max_tokens / fill_rate

例如：max_tokens=100，fill_rate=10，则预热时间为 100 / 10 = 10 秒。在这 10 秒内，服务能处理的突发请求量逐渐增加，从 0 线性增长到 100。

3.4 突发流量处理与令牌消耗

当突发流量到达时，令牌桶允许请求一次性消耗桶中积累的所有令牌。假设桶已满（B = max_tokens），则一次突发可处理 max_tokens 个请求。突发后的恢复过程遵循指数衰减规律：

设突发消耗后桶中剩余令牌为 B_remaining。
恢复过程中，桶中令牌数 B(t) 随时间线性增长：
  B(t) = min(B_remaining + fill_rate * t, max_tokens)

恢复时间 t_recovery = (max_tokens - B_remaining) / fill_rate

例如：max_tokens=100，突发消耗了 80 个令牌（剩余 20），fill_rate=10，则恢复时间为 (100-20)/10 = 8 秒。

3.5 参数调优策略

在冷启动削峰场景中，参数配置需要权衡以下目标：

• 快速启动： 降低 max_tokens 或提高 fill_rate 可缩短预热时间，但会降低突发处理能力。
• 大突发容忍： 提高 max_tokens 可吸收更大瞬时流量，但预热时间延长，且突发后恢复更慢。
• 稳态吞吐： fill_rate 直接决定长期平均 QPS，需根据后端服务容量设定。
• 填充粒度： tokens_per_fill 影响令牌补充的平滑性。较小的值（如 1）配合高 fill_rate 可实现更平滑的填充，但增加调度开销。

3.6 参数配置示例

以下是一个针对冷启动削峰场景的 Envoy 本地限流配置示例：

rate_limits:
  - actions:
      - generic_key:
          descriptor_value: "cold_start_protection"
    limit:
      # 最大突发：200 个请求
      max_tokens: 200
      # 稳态速率：50 QPS
      fill_rate: 50.0
      # 每次填充 5 个令牌，填充间隔 = 5/50 = 0.1 秒
      tokens_per_fill: 5

该配置的数学特性：

• 预热时间：200 / 50 = 4 秒
• 稳态吞吐：50 QPS
• 最大突发：200 个请求
• 突发后恢复时间（假设消耗 150 个令牌）：(200 - 50) / 50 = 3 秒