4、为什么需要限流：背压、资源保护与SLA保障

在低延迟模型服务场景中，Kafka 作为事件骨干承载着推理请求的异步流转。然而，当上游生产速率超过下游消费能力时，系统会面临三大核心风险：背压扩散、资源耗尽与SLA 违约。限流不是可选项，而是保障服务稳定性的强制手段。

4.1 背压：从局部过载到全局崩溃的传导链

背压（Backpressure）是指下游处理能力不足时，压力通过数据管道向上游逆向传递的现象。在 Kafka 架构中，背压的传导路径通常分为三个阶段：

1. 消费端堆积：消费者拉取速率 < 生产速率，导致消费滞后（Consumer Lag）持续增长。
2. Broker 缓冲区膨胀：日志段文件写入 I/O 压力增大，Page Cache 被挤占，磁盘吞吐接近上限。
3. 生产端阻塞：Broker 返回超时或限流错误，生产者重试队列堆积，最终阻塞上游推理服务的主线程。

4.2 资源保护：防止级联故障的底线

模型服务对资源极为敏感。一个未被限流的突发流量可能同时耗尽以下关键资源：

4.3 SLA 保障：限流是承诺的守护者

模型服务的 SLA 通常包含三个核心维度：吞吐量（QPS/TPS）、延迟（P99/P999）和可用性（Error Rate）。限流在这三个维度上分别扮演不同角色：

• 吞吐量保障：通过限流将请求速率稳定在服务容量曲线以内，避免过载导致的吞吐量断崖式下跌。
• 延迟保障：排队论（Queueing Theory）证明，当系统利用率 > 80% 时，排队延迟呈指数增长。限流将利用率控制在安全水位，保护 P99 延迟。
• 可用性保障：拒绝超出能力的请求（返回 429 Too Many Requests），比让请求超时或返回错误结果更符合 SLA 定义。

4.4 限流 vs 降级 vs 熔断：三者的边界

在模型服务体系中，限流常与降级、熔断配合使用，但三者职责不同：

4.5 限流策略选择：静态 vs 动态

针对模型服务的 Kafka 限流，需要根据场景选择策略：

• 静态限流：基于压测得到的服务容量上限，设置固定 QPS 阈值。适合流量模式稳定的场景。
• 动态限流：根据实时资源指标（CPU/GPU 利用率、Consumer Lag、P99 延迟）自适应调整限流阈值。适合流量波动大的在线推理服务。

以下是一个基于 Consumer Lag 的动态限流伪代码示例：

// 动态限流阈值调整逻辑（Kafka 消费端）
val lagThreshold = 5000   // 最大允许 Lag
val baseRate = 1000       // 基础消费速率 (msg/s)

while (isRunning) {
    val currentLag = consumer.metrics().get("records-lag-max")
    val utilization = currentLag.toDouble() / lagThreshold

    val newRate = if (utilization < 0.5) {
        // 低负载：尝试提升速率
        min(baseRate * 1.2, maxRate)
    } else if (utilization < 0.8) {
        // 中等负载：保持当前速率
        baseRate
    } else {
        // 高负载：降速
        max(baseRate * 0.5, minRate)
    }

    kafkaConsumer.updateRateLimit(newRate)
    Thread.sleep(1000)  // 每秒调整一次
}