Spark Streaming 核心概念：DStream、微批次架构、Receiver 与 Direct 模式、背压机制

在信用额度定价的流式决策场景中，实时处理用户行为事件、交易流水与外部征信变更，要求引擎具备低延迟、高吞吐与精确一次语义。Spark Streaming 作为 Spark 生态的流处理引擎，其核心概念——DStream、微批次架构、数据源接入模式与背压机制——直接决定了特征服务与模型推理的实时性边界。本节将逐一拆解这些概念，并说明它们在额度定价链路中的实际作用。

1. DStream：离散化数据流

DStream（Discretized Stream）是 Spark Streaming 对连续数据流的抽象。它将无界的实时数据流按时间窗口切分为一系列连续的 RDD 批次，每个批次对应一个固定时间间隔内的数据集合。DStream 上的所有转换操作（如 map、filter、join）最终都会转化为对底层 RDD 的批量计算。

在额度定价场景中，DStream 的每个批次可能包含数千条用户行为记录，特征服务通过 DStream 的 transform 算子与外部特征存储（如 Redis、HBase）交互，完成实时特征拼接。

2. 微批次架构：吞吐与延迟的平衡

Spark Streaming 采用微批次（Micro-Batch）架构，将连续流切分为小批量 RDD 后交由 Spark 调度引擎执行。这种设计在保证高吞吐的同时，牺牲了逐条处理的超低延迟（通常为秒级）。

3. Receiver 模式与 Direct 模式

Spark Streaming 从 Kafka 消费数据时，提供两种接入模式：Receiver 模式（基于接收器）与 Direct 模式（直接连接）。两者在可靠性、资源利用与语义保证上存在显著差异。

3.1 Receiver 模式

• 工作原理：Receiver 作为长期运行的任务，从 Kafka 拉取数据并存储在 Spark Executor 的内存中，再由 Streaming 调度器按批次处理。
• 关键问题：依赖 Write-Ahead Log（WAL）保证数据不丢失，但可能造成数据重复；Receiver 与 Executor 绑定，资源利用率较低。
• 适用性：已逐步被 Direct 模式取代，仅用于兼容旧版本。

3.2 Direct 模式（推荐）

• 工作原理：Driver 直接调用 Kafka 底层 API，按批次查询每个 Partition 的偏移量范围，再将 Offset 范围传递给 Executor 并行拉取数据。
• 优势：
  • Exactly-Once 语义：偏移量由 Spark Streaming 自主管理，结合 checkpoint 可实现精确一次消费。
  • 背压感知：直接感知 Kafka 分区负载，配合背压机制动态调整拉取速率。
  • 资源高效：无需 Receiver 常驻，Executor 按需分配。

// Spark 2.x / 3.x 推荐使用 Structured Streaming
// 但传统 DStream Direct 模式仍广泛用于特征服务集成
val kafkaParams = Map[String, Object](
  "bootstrap.servers" -> "kafka-host:9092",
  "key.deserializer" -> classOf[StringDeserializer],
  "value.deserializer" -> classOf[StringDeserializer],
  "group.id" -> "credit_limit_group",
  "auto.offset.reset" -> "latest",
  "enable.auto.commit" -> (false: java.lang.Boolean)
)

val topics = Array("user_behavior", "transaction_event")
val stream = KafkaUtils.createDirectStream[String, String](
  streamingContext,
  PreferConsistent,
  Subscribe[String, String](topics, kafkaParams)
)

// 解析消息并提取特征
val featureStream = stream.map(record => {
  val event = parseJson(record.value())
  (event.userId, extractFeatures(event))
})

4. 背压机制：动态速率控制

背压（Backpressure）是流处理系统应对数据流量波动的核心机制。当上游 Kafka 生产速率超过 Spark Streaming 处理能力时，背压机制自动限制数据拉取速率，防止系统过载导致 OOM 或任务积压。

4.1 工作原理

1. 速率反馈：每个批次处理完成后，Streaming 监听器记录处理时间与调度延迟。
2. PID 控制器：内置比例-积分-微分（PID）控制器根据历史处理速率计算最优拉取速率。
3. 动态调整：下一批次的 Offset 范围根据计算出的速率上限进行裁剪。

4.2 配置与调优

4.3 背压与特征服务集成的协同

在信用额度定价链路中，特征服务调用通常是瓶颈所在。背压机制与特征服务集成形成以下协同关系：

• 速率匹配：背压根据特征服务的平均响应时间动态调整消费速率，确保特征查询压力在服务容量范围内。
• 熔断保护：当特征服务返回超时或错误率上升时，背压自动降速，为特征服务恢复争取时间。
• 平滑启动：初始速率设置为较低值（如 1000 条/秒/分区），背压逐步爬升至稳态，避免冷启动时打满资源。

# 启用背压
spark.streaming.backpressure.enabled=true
# 初始速率：每个分区每秒 500 条
spark.streaming.backpressure.initialRate=500
# 硬上限：每个分区每秒最多 5000 条
spark.streaming.kafka.maxRatePerPartition=5000
# PID 参数（保持默认即可）
spark.streaming.backpressure.pid.proportional=1.0
spark.streaming.backpressure.pid.integral=0.2
spark.streaming.backpressure.pid.derived=0.0

5. 核心概念在额度定价中的映射

将上述概念映射到信用额度定价的流式决策场景，形成以下技术决策链路：