Spark实时风控网关回放对比学习 - 第3节

3.1 Spark Streaming 核心架构

Spark Streaming 是 Spark 生态中用于处理实时数据流的组件。其核心思想是将连续不断的实时数据流切分成一系列微小的、离散的批次（Batch），然后利用 Spark 引擎对这些微批次进行快速、高效的批处理计算。这种设计使得 Spark Streaming 能够复用 Spark 的容错、内存计算和高级算子等优势。

3.1.1 架构组件与角色

Spark Streaming 的运行时架构由以下关键组件构成：

3.2 DStream 概念详解

DStream（Discretized Stream）是 Spark Streaming 提供的高层抽象，代表一个持续不断的数据流。从内部实现来看，DStream 本质上是一个由一系列 RDD 组成的序列，每个 RDD 包含一个时间间隔内的数据。

3.2.1 DStream 与 RDD 的关系

3.2.2 DStream 的生命周期

1. 创建：通过 StreamingContext 从数据源创建 DStream。
2. 转换：应用各种 transformation 算子（如 map、flatMap、join、window）生成新的 DStream。
3. 输出：调用 output operation（如 print、saveAsTextFiles、foreachRDD）将结果写入外部系统。
4. 启动与停止：调用 ssc.start() 启动流处理，ssc.awaitTermination() 等待终止。

3.3 与 Kafka 集成的基本流程

在实时风控场景中，Kafka 是最常用的消息队列。Spark Streaming 提供了两种与 Kafka 集成的方式：Receiver-based 和 Direct 方式。目前生产环境推荐使用 Direct 方式（无接收器），它能够实现端到端的精确一次语义。

3.3.1 Direct 方式集成步骤

3.3.2 核心代码示例

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.kafka010._

val conf = new SparkConf().setAppName("KafkaDirectStream")
val ssc = new StreamingContext(conf, Seconds(5))

val kafkaParams = Map[String, Object](
  "bootstrap.servers" -> "localhost:9092",
  "key.deserializer" -> classOf[StringDeserializer],
  "value.deserializer" -> classOf[StringDeserializer],
  "group.id" -> "risk_engine_group",
  "auto.offset.reset" -> "latest",
  "enable.auto.commit" -> (false: java.lang.Boolean)
)

val topics = Array("risk_events")
val stream = KafkaUtils.createDirectStream[String, String](
  ssc,
  LocationStrategies.PreferConsistent,
  ConsumerStrategies.Subscribe[String, String](topics, kafkaParams)
)

// 从 ConsumerRecord 中提取 value 并处理
val lines = stream.map(record => record.value())
lines.foreachRDD { rdd =>
  rdd.foreach { event =>
    // 风控规则匹配逻辑
    println(s"Received event: $event")
  }
}

ssc.start()
ssc.awaitTermination()

3.4 实时数据流处理模型

Spark Streaming 采用 微批次处理模型，这是其与 Flink 等纯流处理引擎最本质的区别。理解这一模型对于掌握 Spark Streaming 的性能特征和适用场景至关重要。

3.4.1 微批次处理模型的工作机制

1. 数据切分：将连续的数据流按照固定的时间间隔（Batch Interval）切分成一系列小数据块。
2. 任务生成：每个批次对应一个 Job，Spark Engine 为每个 Job 生成 DAG 并调度执行。
3. 结果输出：批次处理完成后，将结果写入外部系统，然后处理下一个批次。

3.4.2 模型优缺点分析