2. Spark在风控场景中的角色：Spark生态简介、Spark与Hadoop对比、Spark在特征工程与抽样中的优势

2.1 Spark生态简介

Apache Spark 是一个统一的分析引擎，专为大规模数据处理而设计。在风控领域，Spark 生态的核心组件构成了从数据接入、特征加工到模型推理的完整技术栈。

Spark 生态的另一个关键优势是 统一编程模型：风控工程师可以用同一套 DataFrame API 完成离线特征工程、实时样本采集和在线推理，无需切换技术栈。

2.2 Spark与Hadoop对比

Hadoop MapReduce 曾是风控大数据处理的默认选择，但 Spark 在多个关键维度上实现了代际升级。以下对比基于风控特征工程和样本抽样的实际场景。

2.3 Spark在特征工程与抽样中的优势

风控特征工程和样本抽样对计算引擎有特殊要求：高吞吐、低延迟、支持迭代、易于表达复杂逻辑。Spark 在以下四个维度提供了差异化能力。

2.3.1 内存计算加速特征衍生

风控特征工程常涉及多表 Join、窗口聚合、时间滑窗等操作。Spark 的 DAG 调度器将多个 Stage 合并为流水线，中间结果驻留内存，避免频繁磁盘 IO。

# 风控特征衍生示例：30天滑动窗口聚合
from pyspark.sql import functions as F
from pyspark.sql.window import Window

window_spec = Window.partitionBy("user_id") \
                    .orderBy("trans_dt") \
                    .rowsBetween(-29, 0)

df_features = df_transactions.withColumn(
    "amt_avg_30d", F.avg("trans_amt").over(window_spec)
).withColumn(
    "cnt_30d", F.count("trans_id").over(window_spec)
)

2.3.2 统一批流架构简化样本采集

传统风控样本采集需要维护两套代码：离线批处理采集历史样本，实时流处理采集在线样本。Spark Structured Streaming 允许用同一套 DataFrame API 同时处理批和流，大幅降低维护成本。

2.3.3 内置 MLlib 降低特征工程复杂度

特征工程中的常见操作如归一化、分箱、WOE 编码、One-Hot 编码，MLlib 均提供原生实现，无需额外引入第三方库。

from pyspark.ml.feature import MinMaxScaler, VectorAssembler

# 特征缩放
assembler = VectorAssembler(inputCols=["amt", "cnt", "age"], outputCol="features_vec")
scaler = MinMaxScaler(inputCol="features_vec", outputCol="scaled_features")

pipeline = Pipeline(stages=[assembler, scaler])
df_scaled = pipeline.fit(df).transform(df)

2.3.4 弹性分布式抽样保证样本代表性

风控建模要求样本在时间、用户群、风险等级等维度上保持分层均衡。Spark 的 DataFrame API 支持精确的分层抽样和随机抽样，且天然支持分布式执行。

2.3.5 优势总结