3. 批处理技术概览：批处理核心概念、离线计算引擎对比与风险图谱应用

在风险传导图谱的构建中，批处理技术是离线数据加工与历史回溯的基石。本章将深入剖析批处理的核心概念，对比主流离线计算引擎（Spark 与 Flink Batch），并阐述其在风险图谱中的典型应用场景。

3.1 批处理核心概念

批处理（Batch Processing）是一种在预先定义的时间窗口内，对静态、有界数据集进行一次性处理的计算模式。其核心特征包括：

• 有界数据（Bounded Data）： 数据在计算开始前已完整存在，不会无限增长。
• 高吞吐量（High Throughput）： 通过并行处理大量数据，追求单位时间内的处理效率。
• 延迟容忍（Latency Tolerance）： 通常以分钟、小时甚至天为单位，不追求毫秒级响应。
• 全量/增量计算： 支持对历史全量数据的重算，也支持基于时间戳的增量更新。

3.2 离线计算引擎对比：Spark vs. Flink Batch

在风险图谱领域，Apache Spark 和 Apache Flink 的 Batch 模式是两大主流选择。下表从多个维度进行对比：

3.3 批处理在风险图谱中的应用场景

在风险传导图谱的构建与更新中，批处理技术主要承担以下关键角色：

1. 历史全量图谱构建： 从数据仓库中抽取过去数年的交易、担保、关联关系数据，通过批处理作业一次性构建完整的风险传导图谱。
2. 周期性增量更新： 每日/每周定时运行批处理任务，将新增的交易记录、企业变更信息等增量数据合并到现有图谱中，更新节点和边的属性。
3. 大规模图特征计算： 利用批处理引擎计算全局图指标，如 PageRank、连通分量、社区发现等，这些计算通常需要遍历全图，适合离线批处理。
4. 历史风险回溯与回测： 基于历史快照数据，批量模拟风险传导路径，验证风险模型的准确性，为模型调优提供依据。

下图展示了批处理在风险图谱离线构建中的典型流程：

3.4 批处理作业的典型代码结构

以下是一个使用 Spark SQL 进行风险图谱增量更新的示例代码片段：

// 使用 Spark SQL 进行风险图谱增量更新
SparkSession spark = SparkSession.builder()
    .appName("RiskGraphIncrementalUpdate")
    .config("spark.sql.shuffle.partitions", "200")
    .enableHiveSupport()
    .getOrCreate();

// 读取增量交易数据
Dataset<Row> incrementalTxns = spark.read()
    .option("basePath", "/data/risk/txns")
    .parquet("/data/risk/txns/dt=2025-03-01");

// 读取现有图谱快照
Dataset<Row> existingGraph = spark.read()
    .parquet("/data/risk/graph/snapshot/dt=2025-02-28");

// 执行增量合并逻辑
incrementalTxns.createOrReplaceTempView("inc_txns");
existingGraph.createOrReplaceTempView("old_graph");

Dataset<Row> updatedGraph = spark.sql(
    "SELECT " +
    "  COALESCE(n.node_id, e.node_id) AS node_id, " +
    "  COALESCE(n.node_name, e.node_name) AS node_name, " +
    "  COALESCE(n.risk_score, 0) + COALESCE(e.risk_delta, 0) AS risk_score " +
    "FROM old_graph n " +
    "FULL OUTER JOIN inc_txns e ON n.node_id = e.node_id"
);

// 写入更新后的图谱快照
updatedGraph.write()
    .mode(SaveMode.Overwrite)
    .parquet("/data/risk/graph/snapshot/dt=2025-03-01");

spark.stop();