📚 课程目录第2章 Spark基础回顾

2. Spark基础回顾：Spark RDD、DataFrame、Spark SQL核心概念、Spark在反欺诈场景的优势

在构建实时反欺诈图谱与XGBoost模型训练流水线之前，必须夯实Spark核心抽象。本章从RDD、DataFrame、Spark SQL三个层次展开，并剖析Spark在反欺诈场景中的独特优势。

2.1 Spark RDD：弹性分布式数据集

RDD（Resilient Distributed Dataset）是Spark最基础的抽象，代表一个不可变、可分区、可并行计算的数据集合。RDD具备以下核心特性：

弹性（Resilient）：通过血统（Lineage）机制自动恢复丢失的分区。
不可变（Immutable）：任何转换操作都生成新的RDD，原始数据不变。
惰性求值（Lazy Evaluation）：转换操作仅记录依赖关系，遇到行动操作才真正计算。
分区（Partitioning）：数据被切分为多个分区，分布在集群节点上并行处理。

  反欺诈场景提示： RDD的血统机制在长时间运行的流式反欺诈作业中至关重要。当某个节点处理大量交易特征时发生故障，Spark无需重新读取上游Kafka数据，而是通过血统重算丢失分区，保障实时性。

RDD的两种操作类型

操作类型	特点	常见算子	反欺诈应用示例
转换（Transformation）	返回新RDD，惰性执行	`map`, `filter`, `flatMap`, `reduceByKey`, `join`	过滤正常交易、提取设备指纹特征、关联黑名单库
行动（Action）	触发实际计算，返回结果或写入存储	`count`, `collect`, `saveAsTextFile`, `foreach`	统计异常交易数量、输出风险评分结果到HBase

// 示例：使用RDD进行交易数据预处理
val transactionsRDD = sc.textFile("hdfs://logs/transactions/2025-01-01/*.log")
  .map(line => line.split(","))
  .filter(fields => fields(3).toDouble > 10000)  // 筛选大额交易
  .map(fields => (fields(0), fields(3).toDouble)) // (用户ID, 金额)
  .reduceByKey(_ + _)  // 按用户汇总当日交易总额
  .filter { case (_, total) => total > 50000 }   // 筛选异常高频用户

2.2 DataFrame：结构化数据的高级抽象

DataFrame在RDD之上增加了Schema信息，将数据组织为命名列，提供了更丰富的优化能力。相比RDD，DataFrame具有以下优势：

Schema感知：列名和数据类型明确，便于Spark SQL优化。
Catalyst优化器：自动优化执行计划，性能比手写RDD算子提升2-5倍。
丰富的API：支持SQL风格查询、聚合、窗口函数，降低开发复杂度。
与MLlib无缝集成：特征工程和模型训练直接操作DataFrame。

最佳实践： 在反欺诈特征工程中，优先使用DataFrame API。例如，使用groupBy和agg计算用户历史交易统计量，比RDD的reduceByKey更简洁且自动优化。

// 示例：使用DataFrame进行特征聚合
import spark.implicits._

val transactionsDF = spark.read
  .option("header", "true")
  .csv("hdfs://data/transactions/")
  .select("user_id", "amount", "timestamp", "device_id")

// 计算用户过去1小时内的交易次数和总金额
val userFeatures = transactionsDF
  .groupBy("user_id")
  .agg(
    count("amount").alias("txn_count_1h"),
    sum("amount").alias("txn_sum_1h"),
    avg("amount").alias("txn_avg_1h")
  )

2.3 Spark SQL：统一的数据查询引擎

Spark SQL允许使用标准SQL语句操作DataFrame，同时支持Hive、Parquet、JSON等多种数据源。在反欺诈场景中，Spark SQL常用于：

临时视图查询：将DataFrame注册为临时视图，使用SQL进行复杂关联。
窗口函数：计算滑动窗口内的统计特征，如过去N笔交易的标准差。
UDF/UDAF：自定义函数处理反欺诈特有的业务逻辑，如IP地址解析、设备指纹哈希。

// 示例：使用Spark SQL进行多表关联和窗口计算
transactionsDF.createOrReplaceTempView("txn")
blacklistDF.createOrReplaceTempView("blacklist")

val riskFeatures = spark.sql("""
  SELECT
    t.user_id,
    t.device_id,
    t.amount,
    COUNT(*) OVER (PARTITION BY t.user_id 
                   ORDER BY t.timestamp 
                   ROWS BETWEEN 5 PRECEDING AND CURRENT ROW) AS recent_txn_count,
    AVG(t.amount) OVER (PARTITION BY t.user_id 
                        ORDER BY t.timestamp 
                        ROWS BETWEEN 10 PRECEDING AND 1 PRECEDING) AS avg_amount_last_10,
    CASE WHEN b.user_id IS NOT NULL THEN 1 ELSE 0 END AS is_blacklisted
  FROM txn t
  LEFT JOIN blacklist b ON t.user_id = b.user_id
""")

2.4 Spark在反欺诈场景的核心优势

反欺诈系统对实时性、扩展性和复杂特征计算有极高要求，Spark的以下特性使其成为反欺诈领域的首选计算引擎：

优势维度	具体能力	反欺诈场景价值
内存计算	数据驻留内存，避免磁盘I/O瓶颈	毫秒级特征计算，满足实时风控决策延迟要求
弹性伸缩	支持从单节点到数千节点水平扩展	应对大促期间交易量激增，动态调整计算资源
统一批流	Structured Streaming实现流批一体	同一套代码处理离线训练和实时推理，降低维护成本
丰富算子	内置大量转换、聚合、窗口函数	快速实现时间衰减、滑动窗口、图关联等复杂特征
MLlib集成	分布式机器学习库，支持特征工程和模型训练	直接在Spark上完成XGBoost训练和预测，无需数据搬运
容错机制	血统恢复、Checkpoint、WAL	保障7×24小时反欺诈作业的稳定运行

常见误区： 不要将所有反欺诈逻辑都放在RDD层面实现。对于结构化特征计算，DataFrame+Spark SQL的性能和可维护性远优于RDD。仅在需要自定义分区器或操作非结构化数据（如原始日志解析）时，才考虑使用RDD。

2.5 反欺诈场景下的Spark选型决策

在实际反欺诈项目中，需要根据数据特征和计算需求选择合适的Spark抽象。以下决策树可帮助快速判断：

数据是否结构化？
- 是 → 使用DataFrame或Spark SQL
- 否（如原始日志、JSON嵌套） → 使用RDD解析后再转为DataFrame
是否需要复杂关联或窗口函数？
- 是 → 使用Spark SQL，利用Catalyst优化器自动优化
- 否 → 使用DataFrame API，代码更直观
是否需要自定义分区或数据重分布？
- 是 → 使用RDD的partitionBy或repartition
- 否 → 保持DataFrame，让Spark自动管理分区
是否需要与MLlib/XGBoost集成？
- 是 → 统一使用DataFrame，MLlib和XGBoost4J-Spark都基于DataFrame

  实战经验： 在反欺诈图谱构建中，我们通常采用“RDD解析 → DataFrame特征工程 → Spark SQL关联图谱 → DataFrame输入XGBoost”的流水线。每个阶段选择最合适的抽象，既保证灵活性，又获得最佳性能。

2.6 本章小结

本章回顾了Spark的三大核心抽象：

RDD：底层弹性分布式数据集，适合非结构化数据处理和自定义分区。
DataFrame：结构化数据高级抽象，Catalyst优化器自动提升性能。
Spark SQL：统一查询引擎，支持标准SQL和复杂关联。